神经网络的反向传播算法--基于手写数字识别神经网络（三）

仅供个人学习使用，学习资料来源于 3Blue1Brown官方账号。

上一节讲了梯度下降的思想，本期主要讲反向传播算法，用于求代价函数的负梯度。

假设输入的图像带有数字“2”，目前网络还没有训练好，所以输入图像后，输出层神经元的激活值是随机的，如0.5、0.8、02等等，如图1所示。虽然不能直接改动这些激活值，但是它告诉我们应该怎么变动这些值，会使结果向我们预期的方向发展，如代表数字“2”的神经元的激活值，我们期望它是1，而代表其他数字的神经元，我们期望它是0。所以图1中第三个输出值应该变大，其他数值变小，如图2所示。同时变动的大小与现有值与预期值的差成正比，如增大数字“2”神经元的激活值比减小数字“8”神经元的激活值要重要，对代价函数的改变程度要大。

图1 没有经过训练的网络

图2 激活值改变的大小及方向

以代表数字“2”的神经元为例，我们想提高该神经元的激活值，先来看看它受到哪些变量的影响。如图3所示，激活值与激活函数、偏置、权重、上一层神经元的激活值