深度学习基础之-6.1卷积神经网络

卷积的数学定义

$$h(x)=(f\ast g)(x)={\int }_{-\infty }^{\infty }f(t)g(x-t)dt\text{\hspace{1em}(1)}$$
卷积与傅里叶变换有着密切的关系。利用这点性质，即两函数的傅里叶变换的乘积等于它们卷积后的傅里叶变换，能使傅里叶分析中许多问题的处理得到简化。

离散定义

卷积神经网络中卷积的前向计算

$$h(x)=(f\ast g)(x)=\sum _{t=-\infty }^{\infty }f(t)g(x-t)\text{\hspace{1em}(2)}$$

一维卷积实例

有两枚骰子$f,g$，掷出后二者相加为4的概率如何计算？
第一种情况：$f(1)g(3),3+1=4$
第二种情况：$f(2)g(2),2+2=4$
第三种情况：$f(3)g(1),1+3=4$
因此，两枚骰子点数加起来为4的概率为：

$$h(4)=f(1)g(3)+f(2)g(2)+f(3)g(1)$$ $$=f(1)g(4-1)+f(2)g(4-2)+f(3)g(4-3)$$
符合卷积的定义，把它写成标准的形式就是公式2：

$$h(4)=(f\ast g)(4)=\sum _{t=1}^{3}f(t)g(4-t)$$

单入单出的二维卷积

二维卷积一般用于图像处理上。在二维图片上做卷积，如果把图像Image简写为$I$，把卷积核Kernal简写为$K$，则目标图片的第$(i,j)$个像素的卷积值为：
$$h(i,j)=(I\ast K)(i,j)=\sum _m\sum _{n}I(m,n)K(i-m,j-n)\text{\hspace{1em}(3)}$$
可以看出，这和一维情况下的公式2是一致的。从卷积的可交换性，我们可以把公式3等价地写作：

$$h(i,j)=(I\ast K)(i,j)=\sum _m\sum _{n}I(i-m,j-n)K(m,n)\text{\hspace{1em}(4)}$$
公式4的成立，是因为我们将Kernal进行了翻转。在神经网络中，一般会实现一个互相关函数(corresponding function)，而卷积运算几乎一样，但不反转Kernal：
$$h(i,j)=(I\ast K)(i,j)=\sum _m\sum _{n}I(i+m,j+n)K(m,n)\text{\hspace{1em}(5)}$$
在图像处理中，自相关函数和互相关函数定义如下：

• 自相关：设原函数是f(t)，则$h=f(t)\star f(-t)$，其中$\star$表示卷积
• 互相关：设两个函数分别是f(t)和g(t)，则$h=f(t)\star g(-t)$

互相关函数的运算，是两个序列滑动相乘，两个序列都不翻转。卷积运算也是滑动相乘，但是其中一个序列需要先翻转，再相乘。所以，从数学意义上说，机器学习实现的是互相关函数，而不是原始含义上的卷积。但我们为了简化，把公式5也称作为卷积。这就是卷积的来源。

结论：

• 我们实现的卷积操作不是原始数学含义的卷积，而是工程上的卷积，可以简称为卷积
• 在实现卷积操作时，并不会反转卷积核

单入多出的升维卷积

原始输入是一维的图片，但是我们可以用多个卷积核分别对其计算，从而得到多个特征输出
一张4x4的图片，用两个卷积核并行地处理，输出为2个2x2的图片。在训练过程中，这两个卷积核会完成不同的特征学习。

多入单出的降维卷积

一张图片，通常是彩色的，具有红绿蓝三个通道。我们可以有两个选择来处理：

• 变成灰度的，每个像素只剩下一个值，就可以用二维卷积
• 对于三个通道，每个通道都使用一个卷积核，分别处理红绿蓝三种颜色的信息

显然第2种方法可以从图中学习到更多的特征，于是出现了三维卷积，即一个卷积核内有三个子核，三个子核的尺寸是一样的，比如都是5x5，这样的话，这个卷积核就是一个3x5x5的立体核，所以称为三维卷积。

我们可以用一个卷积核来处理这张彩色图片，但是这个卷积核里必须有三个过滤器

虽然输入图片是多个通道的，或者说是三维的，但是在相同数量的过滤器的计算后，相加在一起的结果是一个通道，即2维数据，所以称为降维。这当然简化了对多通道数据的计算难度，但同时也会损失多通道数据自带的颜色信息。

卷积神经网络中卷积的后向传播

卷积层的训练

同全连接层一样，卷积层的训练也需要从上一层回传的误差矩阵，然后计算：

• 本层的权重矩阵的误差项
• 本层的需要回传到下一层的误差矩阵

在下面的描述中，我们假设已经得到了从上一层回传的误差矩阵，并且已经经过了激活函数的反向传导。

计算反向传播的梯度矩阵

正向公式：

$$Z=W\ast A+b\text{\hspace{1em}(0)}$$

其中，W是卷积核，*表示卷积（互相关）计算，A为当前层的输入项，b是偏移（未在图中画出），Z为当前层的输出项，但尚未经过激活函数处理。
分解到每一项就是下列公式：
$$z_{11}=w_{11}\cdot a_{11}+w_{12}\cdot a_{12}+w_{21}\cdot a_{21}+w_{22}\cdot a_{22}+b\text{\hspace{1em}(1)}$$ $$z_{12}=w_{11}\cdot a_{12}+w_{12}\cdot a_{13}+w_{21}\cdot a_{22}+w_{22}\cdot a_{23}+b\text{\hspace{1em}(2)}$$ $$z_{21}=w_{11}\cdot a_{21}+w_{12}\cdot a_{22}+w_{21}\cdot a_{31}+w_{22}\cdot a_{32}+b\text{\hspace{1em}(3)}$$ $$z_{22}=w_{11}\cdot a_{22}+w_{12}\cdot a_{23}+w_{21}\cdot a_{32}+w_{22}\cdot a_{33}+b\text{\hspace{1em}(4)}$$

求损失函数J对a11的梯度：

$$\frac{\partial J}{\partial a_{11}}=\frac{\partial J}{\partial z_{11}}\frac{\partial z_{11}}{\partial a_{11}}={\delta }_{z11}\cdot w_{11}\text{\hspace{1em}(5)}$$

上式中，${\delta }_{z11}$是从网络后端回传到本层的z11单元的梯度。

求J对a12的梯度时，先看正向公式，发现a12对z11和z12都有贡献，因此需要二者的偏导数相加：

$$\frac{\partial J}{\partial a_{12}}=\frac{\partial J}{\partial z_{11}}\frac{\partial z_{11}}{\partial a_{12}}+\frac{\partial J}{\partial z_{12}}\frac{\partial z_{12}}{\partial a_{12}}={\delta }_{z11}\cdot w_{12}+{\delta }_{z12}\cdot w_{11}\text{\hspace{1em}(6)}$$

最复杂的是求a22的梯度，因为从正向公式看，所有的输出都有a22的贡献，所以：

$$\frac{\partial J}{\partial a_{22}}=\frac{\partial J}{\partial z_{11}}\frac{\partial z_{11}}{\partial a_{22}}+\frac{\partial J}{\partial z_{12}}\frac{\partial z_{12}}{\partial a_{22}}+\frac{\partial J}{\partial z_{21}}\frac{\partial z_{21}}{\partial a_{22}}+\frac{\partial J}{\partial z_{22}}\frac{\partial z_{22}}{\partial a_{22}}$$ $$={\delta }_{z11}\cdot w_{22}+{\delta }_{z12}\cdot w_{21}+{\delta }_{z21}\cdot w_{12}+{\delta }_{z22}\cdot w_{11}\text{\hspace{1em}(7)}$$

同理可得所有a的梯度。

观察公式7中的w的顺序，貌似是把原始的卷积核旋转了180度，再与传入误差项做卷积操作，即可得到所有元素的误差项。而公式5和公式6并不完备，是因为二者处于角落，这和卷积正向计算中的padding是相同的现象。因此，我们把传入的误差矩阵Delta-In做一个zero padding，再乘以旋转180度的卷积核，就是要传出的误差矩阵Delta-Out
最后可以统一成为一个简洁的公式：

$${\delta }_{out}={\delta }_{in}\ast W^{rot180}\text{\hspace{1em}(8)}$$

这个误差矩阵可以继续回传到下一层。

当Weights是3x3时，${\delta }_{in}$需要padding=2，即加2圈0，才能和Weights卷积后，得到正确尺寸的${\delta }_{out}$
当Weights是5x5时，${\delta }_{in}$需要padding=4，即加4圈0，才能和Weights卷积后，得到正确尺寸的${\delta }_{out}$
以此类推：当Weights是NxN时，${\delta }_{in}$需要padding=N-1，即加N-1圈0
举例：

正向时stride=1：$A^{(10\times 8)}\ast W^{(5\times 5)}=Z^{(6\times 4)}$

反向时，${\delta }_z^{(6\times 4)}+4padding={\delta }_z^{(14\times 12)}$

然后：${\delta }_z^{(14\times 12)}\ast W^{rot180(5\times 5)}={\delta }_a^{(10\times 8)}$

步长不为1时的梯度矩阵还原

我们先观察一下stride=1和2时，卷积结果的差异，二者的差别就是中间那个结果图的灰色部分。如果反向传播时，传入的误差矩阵是stride=2时的2x2的形状，那么我们只需要把它补上一个十字，变成3x3的误差矩阵，就可以用步长为1的算法了。

以此类推，如果步长为3时，需要补一个双线的十字。所以，当知道当前的卷积层步长为S（S>1）时：

得到从上层回传的误差矩阵形状，假设为$M\times N$
初始化一个$(M\cdot S)\times (N\cdot S)$的零矩阵
把传入的误差矩阵的第一行值放到零矩阵第0行的0,S,2S,3S…位置
然后把误差矩阵的第二行的值放到零矩阵第S行的0,S,2S,3S…位置
…
步长为2时，用实例表示就是这样：

$$\left[\begin{array}{ccccccccccccc}{\delta }_{11}& 0& {\delta }_{12}& 0& {\delta }_{13}0& 0& 0& 0& 0{\delta }_{21}& 0& {\delta }_{22}& 0& {\delta }_{23}\end{array}\right]$$

步长为3时，用实例表示就是这样：

$$\left[\begin{array}{ccccccccccccccccccccccccc}{\delta }_{11}& 0& 0& {\delta }_{12}& 0& 0& {\delta }_{13}0& 0& 0& 0& 0& 0& 00& 0& 0& 0& 0& 0& 0{\delta }_{21}& 0& 0& {\delta }_{22}& 0& 0& {\delta }_{23}\end{array}\right]$$

有多个卷积核时的梯度计算

有多个卷积核也就意味着有多个输出通道。
正向公式：

$$z111=w111\cdot a11+w112\cdot a12+w121\cdot a21+w122\cdot a22$$ $$z112=w111\cdot a12+w112\cdot a13+w121\cdot a22+w122\cdot a23$$ $$z121=w111\cdot a21+w112\cdot a22+w121\cdot a31+w122\cdot a32$$ $$z122=w111\cdot a22+w112\cdot a23+w121\cdot a32+w122\cdot a33$$

$$z211=w211\cdot a11+w212\cdot a12+w221\cdot a21+w222\cdot a22$$ $$z212=w211\cdot a12+w212\cdot a13+w221\cdot a22+w222\cdot a23$$ $$z221=w211\cdot a21+w212\cdot a22+w221\cdot a31+w222\cdot a32$$ $$z222=w211\cdot a22+w212\cdot a23+w221\cdot a32+w222\cdot a33$$

求J对a22的梯度：

$$\frac{\partial J}{\partial a_{22}}=\frac{\partial J}{\partial Z_1}\frac{\partial Z_1}{\partial a_{22}}+\frac{\partial J}{\partial Z_2}\frac{\partial Z_2}{\partial a_{22}}$$ $$=\frac{\partial J}{\partial z_{111}}\frac{\partial z_{111}}{\partial a_{22}}+\frac{\partial J}{\partial z_{112}}\frac{\partial z_{112}}{\partial a_{22}}+\frac{\partial J}{\partial z_{121}}\frac{\partial z_{121}}{\partial a_{22}}+\frac{\partial J}{\partial z_{122}}\frac{\partial z_{122}}{\partial a_{22}}$$ $$+\frac{\partial J}{\partial z_{211}}\frac{\partial z_{211}}{\partial a_{22}}+\frac{\partial J}{\partial z_{212}}\frac{\partial z_{212}}{\partial a_{22}}+\frac{\partial J}{\partial z_{221}}\frac{\partial z_{221}}{\partial a_{22}}+\frac{\partial J}{\partial z_{222}}\frac{\partial z_{222}}{\partial a_{22}}$$ $$=({\delta }_{z111}\cdot w_{122}+{\delta }_{z112}\cdot w_{121}+{\delta }_{z121}\cdot w_{112}+{\delta }_{z122}\cdot w_{111})$$ $$+({\delta }_{z211}\cdot w_{222}+{\delta }_{z212}\cdot w_{221}+{\delta }_{z221}\cdot w_{212}+{\delta }_{z222}\cdot w_{211})$$ $$={\delta }_{z1}\ast W_1^{rot180}+{\delta }_{z2}\ast W_2^{rot180}$$

因此和公式8相似，先在${\delta }_{in}$外面加padding，然后和对应的旋转后的卷积核相乘，再把几个结果相加，就得到了需要前传的梯度矩阵：

$${\delta }_{out}=\sum _m{\delta }_{i{n}_m}\ast W_m^{rot180}\text{\hspace{1em}(9)}$$

有多个输入时的梯度计算

当输入层是多个图层时，每个图层必须对应一个卷积核。
所以有前向公式：

$$z11=w111\cdot a111+w112\cdot a112+w121\cdot a121+w122\cdot a122$$ $$+w211\cdot a211+w212\cdot a212+w221\cdot a221+w222\cdot a222\text{\hspace{1em}(10)}$$ $$z12=w111\cdot a112+w112\cdot a113+w121\cdot a122+w122\cdot a123$$ $$+w211\cdot a212+w212\cdot a213+w221\cdot a222+w222\cdot a223\text{\hspace{1em}(11)}$$ $$z21=w111\cdot a121+w112\cdot a122+w121\cdot a131+w122\cdot a132$$ $$+w211\cdot a221+w212\cdot a222+w221\cdot a231+w222\cdot a232\text{\hspace{1em}(12)}$$ $$z22=w111\cdot a122+w112\cdot a123+w121\cdot a132+w122\cdot a133$$ $$+w211\cdot a222+w212\cdot a223+w221\cdot a232+w222\cdot a233\text{\hspace{1em}(13)}$$

最复杂的情况，求J对a122的梯度：

$$\frac{\partial J}{\partial a111}=\frac{\partial J}{\partial z11}\frac{\partial z11}{\partial a122}+\frac{\partial J}{\partial z12}\frac{\partial z12}{\partial a122}+\frac{\partial J}{\partial z21}\frac{\partial z21}{\partial a122}+\frac{\partial J}{\partial z22}\frac{\partial z22}{\partial a122}$$ $$={\delta }_{z11}\cdot w122+{\delta }_{z12}\cdot w121+{\delta }_{z21}\cdot w112+{\delta }_{z22}\cdot w111$$

泛化以后得到：

$${\delta }_{out1}={\delta }_{in}\ast W_1^{rot180}\text{\hspace{1em}(14)}$$

最复杂的情况，求J对a222的梯度：

$$\frac{\partial J}{\partial a211}=\frac{\partial J}{\partial z11}\frac{\partial z11}{\partial a222}+\frac{\partial J}{\partial z12}\frac{\partial z12}{\partial a222}+\frac{\partial J}{\partial z21}\frac{\partial z21}{\partial a222}+\frac{\partial J}{\partial z22}\frac{\partial z22}{\partial a222}$$ $$={\delta }_{z11}\cdot w222+{\delta }_{z12}\cdot w221+{\delta }_{z21}\cdot w212+{\delta }_{z22}\cdot w211$$

泛化以后得到：

$${\delta }_{out2}={\delta }_{in}\ast W_2^{rot180}\text{\hspace{1em}(15)}$$

权重（卷积核）梯度计算

要求J对w11的梯度，从正向公式可以看到，w11对所有的z都有贡献，所以：

$$\frac{\partial J}{\partial w_{11}}=\frac{\partial J}{\partial z_{11}}\frac{\partial z_{11}}{\partial w_{11}}+\frac{\partial J}{\partial z_{12}}\frac{\partial z_{12}}{\partial w_{11}}+\frac{\partial J}{\partial z_{21}}\frac{\partial z_{21}}{\partial w_{11}}+\frac{\partial J}{\partial z_{22}}\frac{\partial z_{22}}{\partial w_{11}}$$ $$={\delta }_{z11}\cdot a_{11}+{\delta }_{z12}\cdot a_{12}+{\delta }_{z21}\cdot a_{21}+{\delta }_{z22}\cdot a_{22}\text{\hspace{1em}(9)}$$

对W22也是一样的：

$$\frac{\partial J}{\partial w_{12}}=\frac{\partial J}{\partial z_{11}}\frac{\partial z_{11}}{\partial w_{12}}+\frac{\partial J}{\partial z_{12}}\frac{\partial z_{12}}{\partial w_{12}}+\frac{\partial J}{\partial z_{21}}\frac{\partial z_{21}}{\partial w_{12}}+\frac{\partial J}{\partial z_{22}}\frac{\partial z_{22}}{\partial w_{12}}$$ $$={\delta }_{z11}\cdot a_{12}+{\delta }_{z12}\cdot a_{13}+{\delta }_{z21}\cdot a_{22}+{\delta }_{z22}\cdot a_{23}\text{\hspace{1em}(10)}$$
观察公式8和公式9，其实也是一个标准的卷积（互相关）操作过程。
总结成一个公式：

$${\delta }_w=A\ast {\delta }_{in}\text{\hspace{1em}(11)}$$

偏移的梯度计算

根据前向计算公式1，2，3，4，可以得到：

$$\frac{\partial J}{\partial b}=\frac{\partial J}{\partial z_{11}}\frac{\partial z_{11}}{\partial b}+\frac{\partial J}{\partial z_{12}}\frac{\partial z_{12}}{\partial b}+\frac{\partial J}{\partial z_{21}}\frac{\partial z_{21}}{\partial b}+\frac{\partial J}{\partial z_{22}}\frac{\partial z_{22}}{\partial b}$$ $$={\delta }_{z11}+{\delta }_{z12}+{\delta }_{z21}+{\delta }_{z22}\text{\hspace{1em}(12)}$$

所以：

$${\delta }_b={\delta }_{in}\text{\hspace{1em}(13)}$$

每个卷积核W可能会有多个filter，或者叫子核，但是一个卷积核只有一个偏移，无论有多少子核。

卷积神经网络中的池化

概念

池化 pooling，又称为下采样，downstream sampling or sub-sampling。

分为两种，一种是最大值池化 Max Pooling，一种是平均值池化 Mean/Average Pooling。

池化层的训练

我们假设2x2的图片中，$[[1,2],[3,4]]$是上一层网络回传的残差，那么：

对于最大值池化，残差值会回传到当初最大值的位置上，而其它三个位置的残差都是0。
对于平均值池化，残差值会平均到原始的4个位置上。

最大池化（Max Pooling）

正向公式：

$$w=max(a,b,c,d)$$

反向公式（假设Input Layer中的最大值是b）：

$$\frac{\partial w}{\partial a}=0$$ $$\frac{\partial w}{\partial b}=1$$ $$\frac{\partial w}{\partial c}=0$$ $$\frac{\partial w}{\partial d}=0$$

因为a,c,d对w都没有贡献，所以偏导数自然为0，只有b有贡献，偏导数为1。

$${\delta }_a=\frac{\partial J}{\partial a}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial a}=0$$

$${\delta }_b=\frac{\partial J}{\partial b}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial b}={\delta }_w\cdot 1={\delta }_w$$

$${\delta }_c=\frac{\partial J}{\partial c}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial c}=0$$

$${\delta }_d=\frac{\partial J}{\partial d}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial d}=0$$

平均池化（Mean Pooling）

正向公式：

$$w=\frac{1}{4}(a+b+c+d)$$

反向公式（假设Layer-1中的最大值是b）：

$$\frac{\partial w}{\partial a}=\frac{1}{4}$$ $$\frac{\partial w}{\partial b}=\frac{1}{4}$$ $$\frac{\partial w}{\partial c}=\frac{1}{4}$$ $$\frac{\partial w}{\partial d}=\frac{1}{4}$$

因为a,c,d对w都没有贡献，所以偏导数自然为0，只有b有贡献，偏导数为1。

$${\delta }_a=\frac{\partial J}{\partial a}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial a}=\frac{1}{4}{\delta }_w$$

$${\delta }_b=\frac{\partial J}{\partial b}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial b}=\frac{1}{4}{\delta }_w$$

$${\delta }_c=\frac{\partial J}{\partial c}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial c}=\frac{1}{4}{\delta }_w$$

$${\delta }_d=\frac{\partial J}{\partial d}=\frac{\partial J}{\partial w}\frac{\partial w}{\partial d}=\frac{1}{4}{\delta }_w$$

池化总结

无论是max pooling还是mean pooling，都没有要学习的参数，所以，在卷积网络的训练中，池化层需要做的只是把误差项向后传递，不需要计算任何梯度。

https://github.com/microsoft/ai-edu/blob/master/B-教学案例与实践/B6-神经网络基本原理简明教程/17 第八步 - 卷积神经网络.md