LeNet-5 CNN 反向传播过程(back propagation)推导

LeNet-5 CNN 反向传播过程(back propagation)推导

by ztx

说明

本篇博客是学习过程中的笔记，谨慎阅读，欢迎指正。
时间仓促，LeNet-5的具体结构可能会有偏差，具体以论文为准，留坑待填。
另外，csdn的latex公式挂掉了，不知道怎么回事，以代码形式给出式子。
KaTex 多行公式只支持aligned，不支持align = =

前置技能

感知器，数学技巧，脑补能力

MLP-NN BP

MLP-NN(Multilayer perceptron neural network 多层感知器神经网络)

结构

上面是自己画的一张图。

正向传播

过程如上图中左边箭头指示的过程。
$$y_k=f\left(\sum _{j=0}^{H}f\left(\sum _{i=0}^D{x}_i{W}_{ji}\right)W_{kj}\right)$$

反向传播

Loss function:L2 distance
$$E(\mathbf{W})=\frac{1}{2}\sum _{k=0}^{c-1}(t_k-y_k{)}^2=\frac{1}{2}||\mathbf{t}-\mathbf{y}|{|}^2$$

Activation function:sigmoid

$$f(x)=\frac{1}{1+e^{-x}}$$

Sigmoid Derivative function:

$$f^{\prime }(x)=f(x)(1-f(x))$$

隐藏层到输出层的BP如下

$$\begin{array}{rl}\frac{\partial E}{\partial W_{kj}}& =\frac{\partial E}{\partial y_k}\frac{\partial y_k}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial W_{kj}}\\ & =-(t_k-y_k)f^{\prime }(ne{t}_k)y_j\\ & ={\delta }_k{y}_j\end{array}$$

其中：

$${\delta }_k=-(t_k-y_k)f^{\prime }(ne{t}_k)=\frac{\partial E}{\partial ne{t}_k}$$

设学习率为$\eta$则梯度下降权值更新为：

$\Delta W_{kj}=\eta {\delta }_k{y}_j$

输入层到隐藏层的BP如下

$$\begin{array}{rl}\frac{\partial E}{\partial W_{ji}}& =\frac{\partial E}{\partial y_j}\frac{\partial y_j}{\partial ne{t}_j}\frac{\partial ne{t}_j}{\partial W_{ji}}\\ & =\frac{\partial }{\partial y_j}\left(\frac{1}{2}\sum _{k=0}^{c-1}(t_k-y_k{)}^2\right)f^{\prime }(ne{t}_j)x_i\\ & =\left(-\sum _{k=0}^{c-1}(t_k-y_k)\frac{\partial y_k}{\partial y_j}\right)f^{\prime }(ne{t}_j)x_i\\ & =(-\sum _{k=0}^{c-1}(t_k-y_k)\frac{\partial y_k}{\partial ne{t}_k}\frac{\partial n}{\partial y_j}\\ & \\ & \\ & \end{array}$$