神经网络反向传播算法（BP算法）

一、反向传播算法原理

反向传播算法概念：最初，所有的边权重（edge weight）都是随机分配的。对于所有训练数据集中的输入，人工神经网络都被激活，并且观察其输出。这些输出会和我们已知的、期望的输出进行比较，误差会「传播」回上一层。该误差会被标注，权重也会被相应的「调整」。该流程重复，直到输出误差低于制定的标准。

传播原理：反向传播主要依赖于链式法则复合函数求导
     如下图， y是复合函数：

反向传播的优点：使用一次前向传播和一次反向传播，就同时计算出所有参数的偏导数。 反向传播计算量和前向传播差不多，并且有效利用前向传播过程中的计算结果，前向传播的主要计算的量在权重矩阵和input vector的乘法计算， 反向传播则主要是 矩阵和input vector 的转置的乘法计算。

二、BP算法推导过程

1、一个神经元

     上图中表示一个神经元的正向传播，其中$a=\sigma (z)$表示激活函数，$L(a,y)$表示损失函数(成本函数)。反向传播算法就是从$L(a,y)$开始,一级一级的求出各个中间变量的导数，最终得到权重参数的导数，不断更新权重参数让输出值与真实值之间的误差越来越小。
     如下图：

$L(a,y)=-y\log a-(1-y)\log (1-a)$

$da=\frac{d}{da}\cdot L(a,y)公式(1)$

$=-\frac{y}{a}+\frac{1-y}{1-a}$

$dz=\frac{dL}{da}\cdot \frac{da}{dz}公式(2)$

$=(-\frac{y}{a}+\frac{1-y}{1-a})\cdot {\sigma }^{\prime }(z)$

$=(-\frac{y}{a}+\frac{1-y}{1-a})\cdot (1-a)\cdot a$

$=a-y$

$dW=\frac{dL}{da}\cdot \frac{da}{dz}\cdot \frac{dz}{dW}公式(3)$

$=dz\cdot \frac{dz}{dW}$

$=dz\cdot x$

$db=\frac{dL}{da}\cdot \frac{da}{dz}\cdot \frac{dz}{db}公式(4)$

$=dz\cdot \frac{dz}{db}$

$=dz$

     这样我们就可以不断更新权重参数$w$和偏置项$b$,使得损失函数$L(a,y)$越来越小。

2、含有一个隐层的神经网络

     上图中有三个输入$x_1、x_2、x_3$,一个隐层，该隐层中有四个结点，一个输出层。

     上图是神经网络正向传播过程，下图就是BP算法实现过程

$d{a}^{[2]}=\frac{dL}{d{a}^{[2]}}\cdot L(a,y)公式(1)$

$=-\frac{y}{a^{[2]}}+\frac{1-y}{1-a^{[2]}}$

$d{z}^{[2]}=\frac{dL}{d{a}^{[2]}}\cdot \frac{d{a}^{[2]}}{d{z}^{[2]}}公式(2)$

$=a^{[2]}-y$

$d{W}^{[2]}=\frac{dL}{d{a}^{[2]}}\cdot \frac{d{a}^{[2]}}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{W}^{[2]}}公式(3)$

$=d{z}^{[2]}\cdot a^{[1]T}$

$将公式(2)代入公式(3)中可算出最终结果,此处和下面就不再计算了$

$d{b}^{[2]}=\frac{dL}{d{a}^{[2]}}\cdot \frac{d{a}^{[2]}}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{b}^{[2]}}公式(4)$

$=d{z}^{[2]}$将公式(2)带入公式(4)中$

$d{a}^{[1]}=\frac{dL}{d{a}^{[2]}}\cdot \frac{d{a}^{[2]}}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{a}^{[1]}}公式(5)$

$=d{z}^{[2]}\cdot \frac{d{z}^{[2]}}{d{a}^{[1]}}$

$=W^{[2]T}\cdot d{z}^{[2]}$将公式(2)带入公式(5)中$

$d{z}^{[1]}=\frac{dL}{d{a}^{[2]}}\cdot \frac{d{a}^{[2]}}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{a}^{[1]}}\cdot \frac{d{a}^{[1]}}{d{z}^{[1]}}公式(6)$

$=d{a}^{[1]}\cdot \frac{d{a}^{[1]}}{d{z}^{[1]}}$

$=W^{[2]T}\cdot d{z}^{[2]}\ast {a^{[1]}}^{\prime }$

$=W^{[2]T}\cdot d{z}^{[2]}\ast {\sigma }^{\prime }(z^{[1]})$将公式(2)带入公式(6)中$

     公式中各个参数矩阵的维度如下：

$W^{[2]}(1,4)W^{[1]}(4,3)$

$b^{[2]}(1,1)b^{[1]}(4,1)$

$a^{[2]}(1,1)a^{[1]}(4,1)$

$z^{[2]}，d{z}^{[2]}(1,1)z^{[1]}，d{z}^{[1]}(4,1)$

公式说明

1、公式(3)的结果为 $d{W}^{[2]}=d{z}^{[2]}\cdot a^{[1]T}$,其中对$a^{[1]}$求转置的原因如下：

$对W^{[2]}求偏导：d{W}^{[2]}=\frac{dL}{d{a}^{[2]}}\cdot \frac{d{a}^{[2]}}{d{z}^{[2]}}\cdot \frac{d{z}^{[2]}}{d{W}^{[2]}}$

$化简可得：d{W}^{[2]}=d{z}^{[2]}\cdot \frac{d{z}^{[2]}}{d{W}^{[2]}}$

$其中d{z}^{[2]}在公式(2)已经求出,因此只需求出\frac{d{z}^{[2]}}{d{W}^{[2]}}$

$因为z^{[2]}=W^{[2]}x+b^{[2]}$
$=W^{[2]}{a}^{[1]}+b^{[2]}$

$用矩阵表示为$$$z^{[2]}(1,1)=W^{[2]}(1,4)a^{[1]}(4,1)+b^{[2]}(1,1)$$

$(1)、d{z}^{[2]}中如果不给a^{[1]}加转置结果为$
$$d{W}^{[2]}(1,4)=d{z}^{[2]}(1,1)\cdot a^{[1]}(4,1)$$
$而(1,1)\cdot (4,1)=(1,1)\ne (1,4)$

$(2)、当d{z}^{[2]}中给a^{[1]}加转置时结果为$
$$d{W}^{[2]}(1,4)=d{z}^{[2]}(1,1)\cdot a^{[1]T}(1,4)$$
$而(1,1)\cdot (1,4)=(1,1)=(1,4)此时等式成立$

     公式(5)和公式(6)中加入$W^{[2]}T$的原因与上述相同。因此，在计算过程中必须保证矩阵的维度互相匹配。

2、公式(6)的结果中使用 * 乘积，而不是矩阵乘积原因如下：

$$d{z}^{[1]}=W^{[2]T}\cdot d{z}^{[2]}\ast {\sigma }^{\prime }(z^{[1]})$$

$使用矩阵维度表示为$

$$(4,1)=(4,1)\cdot (1,1)\ast (4,1)$$$(4,1)=(4,1)\ast (4,1)$
     此时两个矩阵的维度都为$(4,1)$，此处的乘积为哈达马积（*），其元素定义为两个矩阵对应元素的乘积 的m×n矩阵。

     以上就是我对反向传播(BP)算法的总结。