神经网络中的BP算法原理

        BP（Back-propagation）算法广泛应用于神经网络的模型训练中，基本思想是将误差逐层反传，从而更新各个参数。本文重点探讨BP算法的基本原理和公式推导。

       方便起见，以3层DNN为例，网络结构如下图。具体来说，第1层是输入层，用x1, x2, ……, xn表示，第2层是隐藏层，用h1, h2, ……, hp表示，第3层是输出层，用y1, y2, ……, ym表示，输入层和隐藏层之间的权重参数用W(1)表示，隐藏层和输出层之间的权重参数用W(2)表示，节点的激活函数用f表示。

1. 前向计算，根据输入依次计算各个节点的输出

（1）计算隐藏层的输入和输出：

（2）计算输出层的输入和输出：

（3）计算损失函数：

2. 误差反传，根据损失函数计算各个节点的梯度

（1）计算损失函数对输出层的输入的梯度

如果激活函数采用sigmoid函数，则

于是上面的梯度可以写成

（2）计算损失函数对隐藏层和输出层参数的梯度

（3）计算损失函数对输入层和隐藏层参数的梯度

3. 更新参数

得到梯度之后，采用梯度下降算法更新参数，如下

4. 一点思考

观察W(2)的梯度公式，发现

同样形式在W(1)的梯度公式中也出现了两次，随着网络层数的增加，接近输入层的节点参数梯度中包含改形式的次数也将逐层增加，导致梯度越来越小，即梯度消失问题。