神经网络之BP（反向传播算法）的原理介绍

反向传播是人工神经网络中的一个重要算法，这个方法可以对网络中所有权重计算损失函数的梯度，然后这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。

反向传播算法的原理

我们先直观的看一下反向传播的原理，假设有一个网络：

这是一个三层的神经网络，我们以这个网络为例子，展示下BP算法的过程。

其中，每个神经元有两个单元，第一个单元是对其输入信号和对应的权重的乘积求和，第二单元就是激活函数，它的输出就是整个神经元的输出。

上图展示了信号在神经网络中是怎么传播的，符号$w_{(xm)n}$ 表示输入层第n个神经元和输入信号 $x_m$ 之间连接的权重， $y_n$ ​表示神经元n的输出信号。

当信号通过隐含层时， $w_{mn}$ ​表示神经元m和下一层中神经元n之间连接的权重，上一层的输出是该层的输入。

然后信号传播到输出层，信号加权求和然后通过激活函数计算，输出最终结果。

以上就是前向传播的过程，接下来是计算误差的向前传播时，每个神经元所贡献的误差，反向传播的名字也由此而来。

神经网络模型的预测结果是y，而真实值是z，那么最终的误差为 $\delta =z-y$ 。
在之前，几乎不可能直接计算中间层的神经元的误差，因为它们的输出值是未知的，而反向传播算法解决了这个问题，从最终结果的误差，一步步反推中间神经元的误差。

输出层的误差 δ，经连接反向传回第二层，经权重 $w_{46}$ $w_{56}$分配，第二层的两个神经元误差分别变为 $\delta w_{46}$ $\delta w_{56}$ ，信号是正向在神经网络中流动，而误差是反向流动，其余计算过程两者是相同的。

在从第二层到第一层，当每个神经元的误差都被计算出来后，神经元之间连接的权重就可以被更新了。



这里的 η 表示学习速率，是人为设置的一个参数，而 [公式] ，表示的是神经元激活函数的导数。这里可以理解为，新的权重，在之前的基础上，在神经元的梯度方向上前进一小步。