BP Algorithm for CNN

版权声明：本文为个人原创文章，转载请注明出处

概述

开门见山！
令第$l$层输入为$x^{(l)}$，参数为$W^{(l)}$和$b^{(l)}$，输出为$y^{(l)}$，那么对CNN中各层可以表示如下：
$$y^{(l)}=f(x^{(l)};W^{(l)},b^{(l)})=\{\begin{array}{lr}conv(W^{(l)},x)+b^{(l)},& Conv层\\ max(0,x^{(l)}),& ReLU层\\ Max或者Avg,& Pooling层\\ W^{(l)}x+b^{(l)},& FC层\\ \frac{exp(x^{(l)})}{{\sum }_{i=1}^{c}exp(x_i^{(l)})},& Softmax层\end{array}\text{\hspace{1em}(1)}$$
$$x^{(l+1)}=y^{(l)}$$
令$y^{(L)}$表示最后一层的输出，$\hat{y}$表示网络输入数据$x^{(1)}=x$对应的正值。则损失函数定义为：
$$loss(y^{(L)},\hat{y})=\{\begin{array}{lr}\frac{1}{2}{\Vert y^{(L)}-\hat{y}\Vert }_2^2,& 最小均方误差，回归问题\\ -{\sum }_{i=1}^{c}1({\hat{y}}_i=1)log(y_i^{(L)}),& 交叉熵损失，分类问题\end{array}\text{\hspace{1em}(2)}$$

BP算法

BP算法起点为损失函数。

Loss层

损失函数无可学习参数，只需计算向后传播的偏导数$\frac{\partial l}{\partial y^{(L)}}$
对最小均方误差：
$$\frac{\partial l}{\partial y^{(L)}}=y^{(L)}-\hat{y}\text{\hspace{1em}(3)}$$
对交叉熵损失：
对多分类+单标签（每张图像只能属于一个类别）问题，真值向量$\hat{y}$中只能有一个元素值不为0，假设为${\hat{y}}_j$，即类别为j。
$$\frac{\partial l}{\partial y^{(L)}}=\left[\begin{array}{c}0\\ ⋮\\ 0\\ -\frac{1}{y_j^{(L)}}\\ 0\\ ⋮\\ 0\end{array}\right]\text{\hspace{1em}(4)}$$

中间层

Softmax层

Softmax层后通常紧跟交叉熵损失用于分类问题。
该层的前向计算为：
此时$x^{(l)}$和$y^{(l)}$均为c维的列向量
$$y^{(l)}=\left[\begin{array}{c}{y}_1^{(L)}\\ y_2^{(L)}\\ ⋮\\ y_c^{(L)}\end{array}\right]=\left[\begin{array}{c}\frac{exp(x_1^{(l)})}{{\sum }_{i=1}^{c}exp(x_i^{(l)})}\\ ⋮\\ \frac{exp(x_c^{(l)})}{{\sum }_{i=1}^{c}exp(x_i^{(l)})}\end{array}\right]=\left[\begin{array}{c}{p}_1\\ p_2\\ ⋮\\ p_c\end{array}\right]\text{\hspace{1em}(5)}$$
反向传播在已知$\frac{\partial l}{\partial y^{(l)}}=\frac{\partial l}{\partial y^{(L)}}$[公式(4)]的情况下，需要计算$\frac{\partial l}{\partial x^{(l)}}$。
反向传播如下：
令E表示单位矩阵。
对$y_i^{(l)}$，有：
$$\frac{\partial y_i^{(l)}}{\partial x_j^{(l)}}=\{\begin{array}{lr}{p}_i-p_i^2,& j=i\\ -p_i{p}_j,& otherwise\end{array}\text{\hspace{1em}(6)}$$
进一步可得：
(7) ∂ y ( l ) ∂ x ( l ) = [ ∂ y 1 ( l ) ∂ x 1 ( l ) ∂ y 1 ( l ) ∂ x 2 ( l ) … ∂ y 1 ( l ) ∂ x c ( l ) ∂ y 2 ( l ) ∂ x 1 ( l ) ∂ y 2 ( l ) ∂ x 2 ( l ) … ∂ y 2 ( l ) ∂ x c ( l ) ⋮ ⋮ … ⋮ ∂ y c ( l ) ∂ x 1 ( l ) ∂ y c ( l ) ∂ x 2 ( l ) … ∂ y c ( l ) ∂ x c ( l ) ] = − [ p 1 2 − p 1 p 1 p 2 … p 1 p c p 2 p 1 p 2 2 − p 2 … p 2 p c ⋮ ⋮ … ⋮ p c p 1