VGG 16前向传播与反向传播公式推导

VGG 16 公式推导

VGG-16共有13层卷积层，5层池化层和3层全连接层，对前两层全连接网络采用dropout和L2正则化防止过拟合，采用批量梯度下降+Momentum以交叉熵为目标损失进行训练优化。

• $n^l$—第$l$层网络节点（卷积核）数目；

• $k_{p,q}^l$—第$l$层$p$通道与第$l-1$层$q$通道对应卷积核；

• $b_p^l$—第$l$层$p$节点（通道）的偏置；

• $W^l$—第$l$层全连接网络的权重；

• $z^l$—第$l$层未经过激活函数的前向输入；

• $a^l$—第$l$层经过激活函数后的前向输出；

前向传递

第$l$层卷积操作公式：
$$\begin{gathered} z_p^l(i,j)=\sum _{q=1}^{n^{l-1}}\sum _{u=-1}^1\sum _{v=-1}^1{a}_q^{l-1}(i-u,j-v)k_{p,q}^l(u,v)+b_p^l \\ {a}_p^l(i,j)=ReLU\left(z_p^l(i,j)\right) \end{gathered}$$
第$l$层最大池化公式：
z p l ( i , j ) = max ⁡ ( a p l − 1 ( 2 i − u , 2 j − v ) ) u , v ∈ { 0 , 1 } z_{p}^{l}(i,j)=\max \left( a_{p}^{l-1}(2i-u,2j-v) \right)u,v\in \left\{ 0,1 \right\} zpl​(i,j)=max(apl−1​(2i−u,2j−v))u,v∈{0,1}
经过前18层的卷积核池化操作后可获得$7\times 7\times 512$大小的特征图，需要将其转化为一个25,088维的向量以便作为全连接层的输入，该过程输出为$a^{18}$:
$$a^{18}=F\left({\left\{z_p^{18}\right\}}_{p=1,2,\cdots ,512}\right)$$
全连接网络的前两层采用dropout，设为$d$，第$l$层节点的连通可用$r^l$来表示，其服从伯努利分布：
$$r^l\sim Bernoulli(d)$$
前向传播为：
$$\begin{gathered} {\tilde{a}}^l=r^l\odot a^l \\ {z}^{l+1}=W^{l+1}{\tilde{a}}^l+b^{l+1} \\ {a}^{l+1}=ReLU(z^{l+1}) \end{gathered}$$
其中，⨀为Hadmard积，即矩阵对应元素相乘。

输出层的激活函数为softmax：
$$a_i^L=softmax(z_i^L)=\frac{e^{z_i^L}}{\sum _{k=1}^{n^L}{e}^{z_k^L}}$$
采用交叉熵损失作为损失函数：
$$L=-\sum _{i=1}^{n^L}{y}_i\log a_i^L$$

反向传播

引入中间变量${\delta }^l$，为第$l$层的误差，表示损失函数对第l层前向输入$z^l$ 的梯度，即为$\frac{\partial L}{\partial z^l}$

Softmax函数偏导数计算公式为：

当$i=j$时，
$$\frac{\partial }{\partial z_j}\left(\frac{e^{z_j}}{{\sum }_{k=1}^n{e}^{z_k}}\right)=\frac{e^{z_j}{\sum }_{k=1}^n{e}^{z_k}-{\left(e^{z_j}\right)}^2}{{\left({\sum }_{k=1}^n{e}^{z_k}\right)}^2}=a_j\left(1-a_j\right)$$
当$i\ne j$时，
$$\frac{\partial }{\partial z_j}\left(\frac{e^{z_i}}{{\sum }_{k=1}^n{e}^{z_k}}\right)=\frac{-e^{z_i}{e}^{z_j}}{{\left({\sum }_{k=1}^n{e}^{z_k}\right)}^2}=-a_i{a}_j$$
输出层第$j$个节点的误差为：
$$\begin{array}{rl}{\delta }_j^L& =\frac{\partial L}{\partial z_j^L}\\ & =\sum _{i=1}^{n^L}\frac{\partial L}{\partial a_i^L}\frac{\partial a_i^L}{\partial z_j^L}\\ & =\frac{\partial L}{\partial a_j^L}\frac{\partial a_j^L}{\partial z_j^L}+\sum _{i\ne j}\frac{\partial L}{\partial a_i^L}\frac{\partial a_i^L}{\partial z_j^L}\\ & =-\frac{y_j}{a_j^L}{a}_j^L(1-a_j^L)+\sum _{i\ne j}-\frac{y_i}{a_i^L}(-a_i^L{a}_j^L)\\ & =-y_j(1-a_j^L)+a_j^L\sum _{i\ne j}{y}_i\\ & =a_j^L-y_j\end{array}$$
输出层的反向传播误差为：
$${\delta }^L=a^L-y$$
第$l$个隐藏层第$j$个节点的反向传播误差为：
$$\begin{array}{rl}{\delta }_j^l& =\frac{\partial L}{\partial z_j^l}\\ & =\sum _{i=1}^{n^{l+1}}\frac{\partial L}{\partial z_i^{l+1}}\frac{\partial z_i^{l+1}}{\partial {\tilde{a}}_j^l}\frac{\partial {\tilde{a}}_j^l}{\partial a_j^l}\frac{\partial a_j^l}{\partial z_j^l}\\ & =\sum _{i=1}^{n^{l+1}}{\delta }_i^{l+1}{W}_{i,j}^{l+1}{r}_j^{l}ReLU(z_j^l{)}^{\prime }\\ & ={\left(W_{:,j}^{l+1}\right)}^T{\delta }^{l+1}{r}_j^{l}ReLU(z_j^l{)}^{\prime }\end{array}$$
因此第$l$全连接层的反向传播误差为：
$${\delta }^l={\left(W^{l+1}\right)}^T{\delta }^{l+1}\odot r^l\odot ReLU(z^l{)}^{\prime }$$
由全连接层到池化层的反向传播误差为：
$${\delta }^{18}=F^{-1}\left({(W^{19})}^T{\delta }^{19}\right)$$
其中${\delta }^{18}$为$7\times 7\times 512$的张量。

由第$l+1$池化层的${\delta }^{l+1}$推导第$l$卷积层的反向传播误差时，对于最大池化，我们需要利用上采样将${\delta }^{l+1}$中每个通道中的元素放到之前做前向传播时最大值的位置处，其他元素为0：
$$\begin{array}{rl}{\delta }_p^l& =\frac{\partial L}{\partial z_p^l}\\ & =\frac{\partial L}{\partial a_p^l}\frac{\partial a_p^l}{\partial z_p^l}\\ & =upsample({\delta }_p^{l+1})\odot ReLU(z_p^l{)}^{\prime }\end{array}$$
因此，由池化层误差计算卷积层反向传播误差公式为：
$${\delta }^l=upsample({\delta }^{l\text{+1}})\odot ReLU(z^l{)}^{\prime }$$
由第$l+1$卷积层的${\delta }^{l+1}$推导第$l$卷积层的反向传播误差：
$$z_p^{l+1}=\sum _{q=1}^{n^l}{a}_q^l\ast k_{p,q}^{l+1}+b_p^{l+1}$$

$${\delta }_q^l=\frac{\partial L}{\partial z_q^l}=\sum _{p=1}^{n^{l+1}}\frac{\partial L}{\partial z_p^{l+1}}\frac{\partial z_p^{l+1}}{\partial a_q^l}\frac{\partial a_q^l}{\partial z_q^l}$$

$$\frac{\partial L}{\partial z_p^{l+1}}\frac{\partial z_p^{l+1}}{\partial a_q^l}={\delta }_p^{l+1}\ast rot180(k_{p,q}^{l+1})$$

因此，
$${\delta }_q^l=\frac{\partial L}{\partial z_q^l}=\left[\sum _{p=1}^{n^{l+1}}{\delta }_p^{l+1}\ast rot180(k_{p,q}^{l+1})\right]\odot ReLU(z_q^l{)}^{\prime }$$
当第$l$层为池化层时，$ReLU(z_q^l{)}^{\prime }=1$。

梯度计算

已知全连接层$l$的反向传播误差${\delta }^l$，计算梯度$\frac{\partial L}{\partial W^l}$和$\frac{\partial L}{\partial b^l}$：
$$\frac{\partial L}{\partial W^l}=\frac{\partial L}{\partial z^l}\frac{\partial z^l}{\partial W^l}={\delta }^l{\left(a^{l-1}\right)}^T$$

$$\frac{\partial L}{\partial b^l}=\frac{\partial L}{\partial z^l}\frac{\partial z^l}{\partial b^l}={\delta }^l$$

当获得平均梯度信息后添加L2正则项，设系数为$\gamma$：
$$\frac{\partial L}{\partial W^l}=\frac{\partial L}{\partial W^l}+\gamma \left(r^l{\left(r^{l-1}\right)}^T\right)W^l$$
已知卷积层的反向传播误差${\delta }^l$，计算梯度$\frac{\partial L}{\partial k_{p,q}^l}$和$\frac{\partial L}{\partial b_p^l}$：
$$\frac{\partial L}{\partial k_{p,q}^l}=\frac{\partial L}{\partial z_p^l}\frac{\partial z_p^l}{\partial k_{p,q}^l}={\delta }_p^l\ast a_q^{l-1}$$

$$\frac{\partial L}{\partial b_p^l}=\frac{\partial L}{\partial z_p^l}\frac{\partial z_p^l}{\partial b_p^l}=\sum _{i=1}^{n^l}\sum _{j=1}^{n^l}{\delta }_p^l(i,j)$$

参数更新

当获得一个批次的平均梯度信息后利用批量梯度下降+Momentum方法进行参数更新：
$$\begin{array}{rl}{v}_{dk}& =\beta v_{dk}+(1-\beta )\frac{\partial L}{\partial k^l}\\ v_{db}& =\beta v_{db}+(1-\beta )\frac{\partial L}{\partial b^l}\\ v_{dW}& =\beta v_{dW}+(1-\beta )\frac{\partial L}{\partial W^l}\end{array}$$
参数更新：
$$\begin{array}{rl}{k}^l& =k^l-\alpha v_{d{k}^l}\\ b^l& =b^l-\alpha v_{d{b}^l}\\ W^l& =W^l-\alpha v_{d{W}^l}\end{array}$$

[1]. Very Deep Convolutional Networks for Large-Scale Image Recognition

[2]. Dropout: A Simple Way to Prevent Neural Networks from Overfitting

[3]. 卷积神经网络(CNN)反向传播算法