神将网络(3)反向传播算法及推导

1.反向传播算法

在前一篇文章中我们介绍了神经网络的前向传播并构建出了损失函数。我们从输入层开始一层一层向前进行计算，一直到最后一层的$h_{\theta }(x)$。现在为了计算使用梯度下降法就要计算偏导数$\frac{\partial }{{\theta }_{i,j}^{(l)}}J(\theta )$,我们需要采用一种反向传播的算法，也就是先计算最后一层的误差，然后再一层一层反向求出各层的误差，直到倒数第二层(应为倒数第一层为输入层即x本身，不会存在误差)。
反向传播算法步骤：
1.对神经网络的权值进行随机初始化
2：遍历所有样本
 1.运用前向传播算法，得到预测值$a^L=h_{\theta }(x)$.
&emps;2.运用反向传播算法，从输出层开始计算每层的误差，以此来求取偏导。输出层的误差即为预测值与真实值之间的差值：${\delta }^L=a^L-y$,对于隐藏层中的每一层的误差，都通过上一层的误差来计算。得到${\delta }^l=({\theta }^{(l)}{)}^T{\delta }^{l+1}.\ast a^{(l)}\ast (1-a^{(l)},a_0^{(l)}=1$
 依次求解并累加误差。${\Delta }_{i,j}^{(l)}={\Delta }_{i,j}^{(l)}+a_j^{(l)}{\delta }_i^{l+1}$,向量化实现：${\Delta }^l=|Delat{a}^l+{\delta }^{l+1}(a^{(l)}{)}^T$
3.遍历完所有样本后，求得偏导为：$\frac{\partial }{\partial {\theta }_{i,j}^{(l)}}J(\theta )=D_{i,j}^{(l)}$

2.反向传播算法推导

假设样本只有一个，则：
先令$${\delta }^{(l)}=\frac{\partial }{\partial z^{(l)}}J(\theta )$$,
故
$$\frac{\partial }{\partial {\theta }^{(3)}}J(\theta )=\frac{\partial J(\theta )}{\partial z^{(4)}}\frac{\partial z^{(4)}}{\partial {\theta }^{(3)}}={\delta }^{(4)}\frac{\partial z^{(4)}}{\partial {\theta }^{(3)}}$$
又因为$z^{(4)}={\theta }^{(3)}{a}^{(3)}$，故$\frac{\partial z^{(4)}}{\partial {\theta }^{(3)}}$=$a^{(3)}$,

故证得$$\frac{\partial }{\partial {\theta }^{(3)}}J(\theta )=a^{(3)}{\delta }^{(4)}$$

代价函数无正则项时其：

$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}log(h_{\theta }(x^{(i)}))+(1-y^{(i)})log(1-(h_{\theta }(x^{(i)})))]$$

$h_{\theta }(x)=a^{(L)}=g(z^{(L)})$,$g(z)=\frac{1}{1+e^{-z}}$,带入到J中(为方便计算m=1)

$$J(\theta )=-ylog(\frac{1}{1+e^{-z}})-(1-y)log(1-\frac{1}{1+e^{-z}})$$

$=ylog(1+e^{-z})-(1-y)log(\frac{e^{-z}}{1+e^{-z}})$

$=ylog(1+e^{-z})+(1-y)log(1+e^z)$

$${\delta }^{(4)}=\frac{\partial }{\partial z^{(4)}}J(\theta )=\frac{\partial }{\partial z^{(4)}}(ylog(1+e^{-z^{(4)}})+(1-y)log(1+e^{z^{(4)}}))$$

$=y\frac{-e^{-z^{(}4)}}{1+e^{-z^{(4)}}}+(1-y)\frac{e^{z^{(4)}}}{1+e^{z^{(4)}}}$

$=\frac{-y{e}^{(-z^{(4)})}-y{e}^{-z^{(4)}}{e}^{z^{(4)}}+1-y+e^{z^{(4)}}-y{e}^{(z^4)}}{(1+e^{(-z^{(4)})})(1+e^{(z^{(4)})})}$

$=\frac{(1-y)e^{z^{(4)}}-(1+e^{z^{(4)}})y{e}^{z^{-(4)}}+(1-y)}{(1+e^{(-z^{(4)})})(1+e^{(z^{(4)})})}$

$=\frac{(1-y)(1+e^{(z^{(4)})}))-(1+e^{z^{(4)}})y{e}^{z^{-(4)}}}{(1+e^{(-z^{(4)})})(1+e^{(z^{(4)})})}$

$=\frac{(1-y-y{e}^{-z^{(4)}})(1+e^{(z^{(4)})})}{(1+e^{(-z^{(4)})})(1+e^{(z^{(4)})})}$

$=\frac{1-y(1-e^{(-z^{(4)})})}{(1+e^{(-z^{(4)})})}$
$=\frac{1}{1+e^{-z^{(4)}}}-y$

$=g(z^{(4)})-y$

$=a^{(4)}-y$

即证得${\delta }^4=a^{(4)}-y$

故对于输出层L

$\frac{\partial }{\partial {\theta }^{(L-1)}}J(\theta )=a^{(L-1)}{\delta }^{(L)}$

${\delta }^L=a^{(L)}-y$

$$\frac{\partial }{\partial {\theta }^{(2)}}J(\theta )=\frac{\partial J(\theta )}{\partial z^{(3)}}\frac{\partial z^{(3)}}{\partial {\theta }^{(2)}}={\delta }^{(3)}\frac{\partial z^{(3)}}{\partial {\theta }^{(2)}}=a^{(2)}{\delta }^{(3)}$$

${\delta }^{(3)}=\frac{\partial J(\theta )}{\partial z^{(4)}}\frac{\partial z^{(4)}}{\partial a^{(3)}}\frac{\partial a^{(3)}}{\partial z^{(3)}}$

$={\delta }^{(4)}{\theta }^{(3)}\frac{\partial a^{(3)}}{\partial z^{(3)}}$

sigmoid函数求导：

$$g(z)=\frac{1}{1+e^{-z}}$$

$g^{{}^{\prime }}(z)=\frac{e^{-z}}{(1+e^{-z}{)}^2}$

$=\frac{1}{1+e^{-z}}\frac{e^{-z}}{1+e^{-z}}$

$=\frac{1}{1+e^{-z}}(\frac{1+e^{-z}}{1+e^{-z}}-\frac{1}{1+e^{-z}})$

$=g(z)(1-g(z))$

由于$a^{(3)}=(g(z^{(3)})添加偏置项a_0=1$，则

$\frac{\partial a^{(3)}}{\partial z^{(3)}}=g(z^{(3)})(1-g(z^{(3)}))=a^{(3)}.\ast (1-a^{(3)})$

所以${\delta }^3=({\theta }^{(3)}{)}^T{\delta }^4.\ast a^{(3)}.\ast (1-a^{(3)})$

故而对于隐藏层：

$\frac{\partial }{\partial {\theta }^{(l)}}J(\theta )=a^{(l)}{\delta }^{(l+1)}$

${\delta }^3=({\theta }^{(l)}{)}^T{\delta }^{l+1}.\ast a^{(l)}.\ast (1-a^{(l)})$

3另一种证明方法

上面的推导过程是针对吴恩达机器学习视频的一个推导，下面介绍一种新的推导过程。

在如图所示神经网络中，输入向量为X

隐藏层输出向量为Y

输出层输出向量为O

输入层到隐藏层的权值矩阵为V

隐藏层到输出层的权值矩阵为W

对于输出层：

$$o_k=f(ne{t}_k)$$

$$ne{t}_k=\sum _{j=0}^l=w_{j,k}{y}_j$$

对于隐藏层:

$$y_j=f(ne{t}_j)$$

$$ne{t}_j=\sum _{i=0}^m=v_{i,j}{x}_i$$

f为sigmoid函数。

输出误差E(代价函数)：

$$E=\frac{1}{2}(d-o{)}^2=\frac{1}{2}\sum _{k=1}^l(d_k-o_k{)}^2\dots \dots \dots \dots ①$$

展开至隐藏层：

$$E=\frac{1}{2}\sum _{k=1}^l(d_k-f(\sum _{j=0}^m{w}_{jk}{y}_j{)}^2\dots \dots \dots \dots ②$$

展开到输入层：

$$E=\frac{1}{2}\sum _{k=1}^l(d_k-f(\sum _{j=0}^m{w}_{jk}\sum _{i=0}^m{v}_{ij}{x}_i{)}^2$$

由上面的公式可以得知E是关于w和v的函数，因此调整E的大小，就可以调整权重，因此将E作为代价函数。

仍然使用梯度下降法来使误差不断减小。

$$\Delta w_{jk}=-\alpha \frac{\partial E}{\partial w_{jk}}=-\alpha \frac{\partial E}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial w_{jk}}$$

$$\Delta v_{ij}=-\alpha \frac{\partial E}{\partial v_{ij}}=-\alpha \frac{\partial E}{\partial ne{t}_j}\frac{\partial ne{t}_j}{\partial v_{ij}}$$

令$${\delta }_k^o=-\frac{\partial E}{\partial ne{t}_k}$$

$${\delta }_j^y=-\frac{\partial E}{\partial ne{t}_j}$$

所以

由于$ne{t}_k={\sum }_{j=0}^l=w_{j,k}{y}_j$,$ne{t}_j={\sum }_{i=0}^m=v_{i,j}{x}_i$,

所以$\frac{\partial ne{t}_k}{\partial w_{jk}}=y_j$,$\frac{\partial ne{t}_j}{\partial v_{ij}}=x_i$

$$\Delta w_{jk}=-\alpha \frac{\partial E}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial w_{jk}}=\alpha {\delta }_k^o{y}_j\dots \dots ③$$

$$\Delta v_{ij}=-\alpha \frac{\partial E}{\partial ne{t}_j}\frac{\partial ne{t}_j}{\partial v_{ij}}=\alpha {\delta }_j^y{x}_i\dots \dots ④$$

下面计算${\delta }_k^0$,${\delta }_j^y$

${\delta }_k^o=-\frac{\partial E}{\partial ne{t}_k}=-\frac{\partial E}{\partial o_k}\frac{\partial o_k}{\partial ne{t}_k}$

${\delta }_j^y=-\frac{\partial E}{\partial ne{t}_j}=-\frac{\partial E}{\partial y_j}\frac{\partial y_j}{\partial ne{t}_j}$

$o_k=f(ne{t}_k)$,所以$\frac{\partial o_k}{\partial ne{t}_k}=f^{{}^{\prime }}(ne{t}_k)=o_k(1-o_k)$

$y_j=f(ne{t}_j)$,所以$\frac{\partial y_j}{\partial ne{t}_j}=f^{{}^{\prime }}(ne{t}_j)=y_j(1-y_j)$

此处是有sigmoid函数求导的性质得来的，在上一部分已经证明过。

有式①得$\frac{\partial E}{\partial o_k}=-(d_k-o_k)$

由式②得$\frac{\partial E}{\partial y_j}=-{\sum }_{k=1}^l(d_k-o_k)f^{{}^{\prime }}(ne{t}_k)w_{jk}$

${\delta }_k^o=\frac{\partial E}{\partial o_k}\frac{\partial o_k}{\partial ne{t}_k}$

$=(d_k-o_k)o_k(1-o_k)$

${\delta }_j^y=\frac{\partial E}{\partial y_j}\frac{\partial y_j}{\partial ne{t}_j}$

$={\sum }_{k=1}^l(d_k-o_k)f^{{}^{\prime }}(ne{t}_k)w_{jk}{y}_j(1-y_j)$

$={\sum }_{k=1}^l(d_k-o_k)o_k(1-o_k)w_{jk}{y}_i(1-y_i)$

$=({\sum }_{k=1}^l{\delta }_k^o{w}_{jk})y_i(1-y_i)$

由式③和④得：

$$\Delta w_{jk}=\alpha (d_k-o_k)o_k(1-o_k)y_j$$

$$\Delta =\alpha (\sum _{k=1}^l{\delta }_k^o{w}_{jk})y_i(1-y_i)x_i$$
该种方法构造出得代价函数虽然与上边的代价函数不一样，但是其思想都是一样的，就是通过梯度下降法来不断使代价函数的值减小，从而使模型参数发生了改变，知道寻找到合适的模型参数为止。两种方法的推导过程也是要用到链式法则，层层来求导。