1. 深度学习之神经网络的结构
机器学习时，实际上就是通过数据，找一大堆的数字参数，让代价函数的值最小
Sigmoid:
Sigmoid
=
1
1
+
e
−
x
\text{Sigmoid} = \frac{1}{1+e^{-x}}
Sigmoid=1+e−x1
ReLU（线性整流函数）:
ReLU
(
a
)
=
m
a
x
(
0
,
a
)
\text{ReLU}(a) = max(0, a)
ReLU(a)=max(0,a)
2. 深度学习之梯度下降法
代价函数取决于网络对上万个训练数据的综合表现。
局部最小值、全局最小值
神经网络的核心是梯度算法，称为反向传播算法BP
3. 深度学习之反向传播算法
每一步使用所有样本，计算平均代价，然后梯度下降，继续下一轮循环
梯度下降时，不仅看每个参数应该变大还是变小，还看改哪个参数性价比最高
扫一扫
25万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
