机器学习基础---神经网络---卷积神经网络CNN

卷积神经网络CNN

相关概念

卷积

• 不同于学意义上的卷积，深度学习中的卷积是卷积核在原始图像上遍历，对应元素相乘再求和

• 单核在单通道张量上卷积过程大致如下：

• 卷积神经网络中，数据的格式主要是以张量（多维向量）形式存储，一般格式为行*列*通道数，卷积核格式为核数×行×列×通道数

• 多通道卷积操作是每次取出卷积核中的一个（通道数与张量一致），对应通道的张量和卷积核进行二维卷积，得到各通道结果，再将各通道卷积结果相加得到输出张量的一个通道。每个卷积核处理张量生成一个输出通道，输出张量的通道数等于卷积核的个数，其目的是提取多种不同的特征
  

• 卷积的特点：

  • 局部感知野：卷积方法考虑到图像数据在空间上像素点的局部性，每次卷积操作都是针对局部图像进行处理，然后在更高层将局部的信息综合起来得到全局的信息
  • 权值共享：卷积操作可以视作提取特征过程，其位置无关，因此对于图像上的所有位置，我们都能使用同样的学习特征（即使用同一个卷积核在整张图上遍历）

池化

• 即对图片进行降采样，最大池化就是在图片中用每个区域的最大值代表这个区域，平均池化就是用每个区域平均值代表这个区域
• 池化操作同样是将池化滤波器（矩阵）在原始图像上遍历

正向传播

• 输入：经过预处理的三维矩阵/多通道图像（行*列*通道数）
• 一般会以卷积操作，池化操作交替对输入图像进行处理（特征提取）
• 将最终得到feature map扁平化处理，然后加上全连接网络完成下游任务

反向传播

• 参考先前全连接网络BP方法中的定义，定义第$l$层未激活输出值$Z^l$，输出到$Z^l$的偏导为${\delta }^l$

• 在全连接网络的BP方法中，主要通过${\delta }^l$之间的递推关系及${\delta }^l$到变换矩阵$W$及偏置$b$的偏导完成对参数的更新

• 在卷积网络的BP方法中类似，先求${\delta }^l$之间的递推关系：

  • 当第$l$层为池化层时：

    • 对池化操作来说，经过一次降采样之后存在数据损失，因此只能尽可能还原，该过程称作upsample，大体思路是

      • 均值池化平摊误差
      • 最大池化在正向传播时记录下最大值位置，反向时误差全部传播到相应记录位置

    • 操作步骤：

      • 先将${\delta }_k^l$所有子矩阵大小还原到池化前大小
      • 再按照上述策略对还原矩阵进行填充，即得到$\frac{\partial J(W,b)}{\partial {\alpha }_k^{l-1}}$

    • 有：
      $${\delta }_k^{l-1}=\frac{\partial J(W,b)}{\partial Z_k^{l-1}}=(\frac{\partial {\alpha }_k^{l-1}}{\partial Z_k^{l-1}}{)}^T\frac{\partial J(W,b)}{\partial {\alpha }_k^{l-1}}=upsample({\delta }_k^l)\odot {\sigma }^{\prime }(z_k^{l-1})$$
      即：
      $${\delta }_k^{l-1}=upsample({\delta }_k^l)\odot {\sigma }^{\prime }(z_k^{l-1})$$

  • 第$l$层为卷积层时：
    $$z^l={\alpha }^{l-1}\ast W^l+b^l=\sigma (Z^{l-1})\ast W^l+b^l$$

    • 卷积核求导（二维）：

      下图中绿色2*2矩阵为卷积后结果的$\delta$误差，彩色2*2矩阵是卷积核，各子图是对填充后4*4原图步长为1的卷积过程

      传播到原图第i行j列的误差是卷积过程中对相应位置产生影响的$\delta$误差与相应卷积核权重乘积的累加

      

      有：原图的delta误差，等于卷积结果的delta误差经过零填充后，与卷积核旋转180度后的卷积

      即：
      $${\delta }^{l-1}=(\frac{\partial z^l}{\partial z^{l-1}}){\delta }^l={\delta }^l\ast rot(W^l)\odot {\sigma }^{\prime }(z^{l-1})$$
      举例说明：
      $$\begin{gathered} 对:{\alpha }^{l-1}{W}^l=Z^l \\ \left[\begin{array}{r}\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\end{array}\right]\ast \left[\begin{array}{r}\begin{array}{cc}{w}_{11}& w_{12}\\ w_{21}& w_{22}\end{array}\end{array}\right]=\left[\begin{array}{r}\begin{array}{cc}{z}_{11}& z_{12}\\ z_{21}& z_{22}\end{array}\end{array}\right] \end{gathered}$$

      $$\begin{gathered} z_{11}=a_{11}{w}_{11}+a_{12}{w}_{12}+a_{21}{w}_{21}+a_{22}{w}_{22} \\ {z}_{12}=a_{12}{w}_{11}+a_{13}{w}_{12}+a_{22}{w}_{21}+a_{23}{w}_{22} \\ {z}_{21}=a_{21}{w}_{11}+a_{22}{w}_{12}+a_{31}{w}_{21}+a_{32}{w}_{22} \\ {z}_{22}=a_{22}{w}_{11}+a_{23}{w}_{12}+a_{32}{w}_{21}+a_{33}{w}_{22} \end{gathered}$$

      $$\{\begin{array}{l}{\nabla }_{a_{11}}={\delta }_{11}{w}_{11}\\ {\nabla }_{a_{12}}={\delta }_{11}{w}_{21}+{\delta }_{21}{w}_{11}\\ {\nabla }_{a_{13}}={\delta }_{12}{w}_{12}\\ {\nabla }_{a_{21}}={\delta }_{11}{w}_{21}+{\delta }_{21}{w}_{11}\\ {\nabla }_{a_{22}}={\delta }_{11}{w}_{22}+{\delta }_{12}{w}_{21}+{\delta }_{21}{w}_{12}+{\delta }_{22}{w}_{11}\\ {\nabla }_{a_{23}}={\delta }_{12}{w}_{22}+{\delta }_{22}{w}_{12}\\ {\nabla }_{a_{31}}={\delta }_{21}{w}_{21}\\ {\nabla }_{a_{32}}={\delta }_{21}{w}_{22}+{\delta }_{22}{w}_{21}\\ {\nabla }_{a_{33}}={\delta }_{22}{w}_{22}\end{array}$$

      有：
      $$\left[\begin{array}{r}\begin{array}{cccc}0& 0& 0& 0\\ 0& {\delta }_{11}& {\delta }_{12}& 0\\ 0& {\delta }_{21}& {\delta }_{22}& 0\\ 0& 0& 0& 0\end{array}\end{array}\right]\ast \left[\begin{array}{r}\begin{array}{cc}{w}_{22}& w_{21}\\ w_{12}& w_{11}\end{array}\end{array}\right]=\left[\begin{array}{r}\begin{array}{ccc}{\nabla }_{a_{11}}& {\nabla }_{a_{12}}& {\nabla }_{a_{13}}\\ {\nabla }_{a_{21}}& {\nabla }_{a_{22}}& {\nabla }_{a_{23}}\\ {\nabla }_{a_{31}}& {\nabla }_{a_{32}}& {\nabla }_{a_{33}}\end{array}\end{array}\right]$$

• 已知卷积层${\delta }^l$，求$W,b$的梯度

  • 由：
    $$Z^l={\alpha }^{l-1}\ast W^l+b^l$$
    有：
    $$\begin{gathered} \frac{\partial J(W,b)}{\partial W^l}={\alpha }^{l-1}\ast {\delta }^l \\ \frac{\partial J(W,b)}{\partial b^l}=\sum _{u,v}({\delta }^l{)}_{u,v} \end{gathered}$$

• 综上，CNN反向传播过程如下：

  • 初始化各隐藏层与输出层的各$W^l,b^l$的值为一个随机值

  • $i=1,2,...,n$

    • ${\alpha }_1=x_i$

    • $l=2,3,...,L-1$

      • 若$l$是全连接层
        $${\alpha }^{i,l}=\sigma (W^l{\alpha }^{i,l-1}+b^l)$$

      • 若$l$是卷积层
        $${\alpha }^{i,l}=\sigma (W^l\ast {\alpha }^{i,l-1}+b^l)$$

      • 若$l$是池化层
        $${\alpha }^{i,l}=pool({\alpha }^{i,l-1})$$

    • 对第$L$层（输出层）
      $${\alpha }^{i,L}=softmax(W^L{\alpha }^{i,L-1}+b^L)$$

    • 通过损失函数计算输出层${\delta }^L$

    • $l=L-1,...,2$

      • 若$l$是全连接层
        $${\delta }^{i,l}=(W^{i,l+1}{)}^T{\delta }^{i,l+1}\odot {\sigma }^{\prime }(z_k^{l-1})$$

      • 若$l$是卷积层
        $${\delta }^{i,l}={\delta }^l\ast rot(W^l)\odot {\sigma }^{\prime }(z^{l-1})$$

      • 若$l$是池化层
        $${\delta }^{i,l}=upsample({\delta }^{i,l+1})\odot {\sigma }^{\prime }(z^{i,l})$$

    • $l=2,3,...,L$，更新第$l$层参数

      • 若$l$是全连接层
        $$\begin{gathered} W^l=W^{l-1}-\alpha \sum _{i=1}^n{\delta }^{i,l}{({\alpha }^{i,l-1})}^T \\ {b}^l=b^l-\alpha \sum _{i=1}^n{\delta }^{i,l} \end{gathered}$$

      • 若$l$是卷积层
        $$\begin{gathered} W^l=W^l-\alpha \sum _{i=1}^n{\alpha }^{i,l-1}\ast {\delta }^{i,l} \\ {b}^l=b^l-\alpha \sum _{i=1}^n\sum _{u,v}({\delta }^{i,l}{)}_{u,v} \end{gathered}$$

  • 如果所有$W，b$的变化值都小于停止迭代阈值$ϵ$，则跳出迭代

  • 得到优化后的参数，模型确定

参考资料

【1】[卷积神经网络(CNN)反向传播算法推导][https://zhuanlan.zhihu.com/p/61898234]

【2】[卷积神经网络概念与原理][https://blog.csdn.net/yunpiao123456/article/details/52437794]

【3】卷积神经网络(CNN)反向传播算法