在507干活的第4天（上）

昨天一波超额完成任务。直接看完了第四章的内容，神经网络可以拟合任何函数的数学证明（还真挺好看的），今天争取进入深度学习阶段，顺便看看反向传播算法。

知识点1：深度学习的难点

深度学习的难点在于梯度不稳定。这种不稳定会导致前面的隐层和后面的隐层训练速度差异很大。

知识点2：梯度消失

梯度消失指的是前面的隐层梯度迅速减小的情况。

这种情况源于梯度的数学公式：

这个函数看似很复杂，实际上就是一个很清晰的，微小变量逐层传递到输出层的问题。

而在公式比较靠前的部分，权重项会很小（没看懂为什么会很小）

然后就会导致项多的层（也就是比较靠前的层）梯度极小。

同理，梯度激增问题就是前几项过大。

知识点3：更加复杂的网络中的梯度公式

公式如下：

这个公式的本质与之前的公式相同，就是一个结果的微小扰动逐层加权反向传播到某个神经元的过程。只是用矩阵形式表示，这样方便表达多个神经元多隐层的情况。