深度学习（30）随机梯度下降七: 多层感知机梯度（反向传播算法）

tens
Recap
Chain Rule

Multi-output Perceptron

$$\frac{\partial E}{\partial w_{jk}}=(O_k-t_k)O_k(1-O_k)x_j^0$$
Multi-Layer Perception

1. 多层感知机模型

$$\frac{\partial E}{\partial w_{jk}}=(O_k-t_k)O_k(1-O_k)x_j^0$$$$\to$$ $$\frac{\partial E}{\partial w_{jk}}=(O_k-t_k)O_k(1-O_k)x_j^J$$设: $${\delta }_k^K=(O_k-t_k)O_k(1-O_k)$$注: 这里可以将${\delta }_k^K$理解为是k节点的一个属性; $$\frac{\partial E}{\partial w_{jk}}={\delta }_k^K{x}_j^J$$

2. 多层感知机梯度

$$\frac{\partial E}{\partial w_{ij}}=\frac{\partial }{\partial w_{ij}}\frac{1}{2}\sum _{k\in K}(O_k-t_k{)}^2$$$$\frac{\partial E}{\partial w_{ij}}=\sum _{k\in K}(O_k-t_k)\frac{\partial }{\partial w_{ij}}{O}_k$$
$$\frac{\partial E}{\partial w_{ij}}=\sum _{k\in K}(O_k-t_k)\frac{\partial }{\partial w_{ij}}\sigma (x_k)$$$$\frac{\partial E}{\partial w_{ij}}=\sum _{k\in K}(O_k-t_k)\frac{\partial \sigma (x_k)}{\partial x_k}\frac{\partial x_k}{\partial w_{ij}}$$$$\frac{\partial E}{\partial w_{ij}}=\sum _{k\in K}(O_k-t_k)\sigma (x_k)(1-\sigma (x_k))\frac{\partial x_k}{\partial w_{ij}}$$$$\frac{\partial E}{\partial w_{ij}}=\sum _{k\in K}(O_k-t_k)O_k(1-O_k)\frac{\partial x_k}{\partial w_{ij}}$$$$\frac{\partial E}{\partial w_{ij}}=\sum _{k\in K}(O_k-t_k)O_k(1-O_k)\frac{\partial x_k}{\partial O_j}\frac{\partial O_j}{\partial w_{ij}}$$$$\because x_k^K=O_0^J{w}_{0k}^J+O_1^J{w}_{1k}^J+\cdots +O_j^J{w}_{jk}^J+\cdots +O_n^J{w}_{nk}^J$$$$\therefore \frac{\partial E}{\partial w_{ij}}=\sum _{k\in K}(O_k-t_k)O_k(1-O_k)w_{jk}\frac{\partial O_j}{\partial w_{ij}}$$$$\frac{\partial E}{\partial w_{ij}}=\frac{\partial O_j}{\partial w_{ij}}\sum _{k\in K}(O_k-t_k)O_k(1-O_k)w_{jk}$$$$\because \frac{\partial O_j}{\partial w_{ij}}=\frac{\partial O_j}{\partial x_j}\frac{\partial x_j}{\partial w_{ij}}=O_j(1-O_j)\frac{\partial x_j}{\partial w_{ij}}$$$$\therefore \frac{\partial E}{\partial w_{ij}}=O_j(1-O_j)\frac{\partial x_j}{\partial w_{ij}}\sum _{k\in K}(O_k-t_k)O_k(1-O_k)w_{jk}$$$$\frac{\partial E}{\partial w_{ij}}=O_j(1-O_j)O_i\sum _{k\in K}(O_k-t_k)O_k(1-O_k)w_{jk}$$$$\because (O_k-t_k)O_k(1-O_k)={\delta }_k$$$$\therefore \frac{\partial E}{\partial w_{ij}}=O_i{O}_j(1-O_j)\sum _{k\in K}{\delta }_k{w}_{jk}$$设: $${\delta }_j^J=O_j(1-O_j)\sum _{k\in K}{\delta }_k{w}_{jk}$$则: $$\frac{\partial E}{\partial w_{ij}}={\delta }_j^J{O}_i^I$$注: 可以把${\delta }_k^K$理解为当前连接w_ij对误差函数的贡献值;

3. 传播规律小结

• 输出层
  $$\frac{\partial E}{\partial w_{jk}}={\delta }_k^{(K)}{O}_j$$$${\delta }_k^{(K)}=O_k(1-O_k)(O_k-t_k)$$
• 倒数第二层
  $$\frac{\partial E}{\partial w_{ij}}={\delta }_j^{(J)}{O}_i$$$${\delta }_j^{(J)}=O_j(1-O_j)\sum _k{\delta }_k^{(K)}{w}_{jk}$$
• 倒数第三层
  $$\frac{\partial E}{\partial w_{ni}}={\delta }_i^{(I)}{O}_n$$$${\delta }_i^{(I)}=O_i(1-O_i)\sum _j{\delta }_j^{(J)}{w}_{ij}$$其中$O_n$为倒数第三层的输入，即倒数第四层的输出。

依照此规律，只需要循环迭代计算每一层每个节点的${\delta }_k^{(K)}$、${\delta }_j^{(J)}$、${\delta }_i^{(I)}$等值即可求得当前层的偏导数，从而得到每层权值矩阵W的梯度，再通过梯度下降算法迭代优化网络参数即可。

参考文献:
[1] 龙良曲:《深度学习与TensorFlow2入门实战》