五、卷积神经网络CNN7（图像卷积与反卷积）

图像卷积

首先给出一个输入输出结果

那他是怎样计算的呢？

卷积的时候需要对卷积核进行 180 的旋转，同时卷积核中心与需计算的图像像素对齐，输出结构为中心对齐像素的一个新的像素值，计算例子如下：

这样计算出左上角(即第一行第一列)像素的卷积后像素值。

给出一个更直观的例子，从左到右看，原像素经过卷积由 1 变成-8。

通过滑动卷积核，就可以得到整张图片的卷积结果

图像反卷积

这里提到的反卷积跟 1 维信号处理的反卷积计算是很不一样的， FCN 作者称为 backwards convolution，有人称 Deconvolution layer is a very unfortunate name and should rather be called a transposed convolutional layer. 我们可以知道，在 CNN 中有 con layer 与 pool layer ， con layer

进行对图像卷积提取特征，pool layer 对图像缩小一半筛选重要特征，对于经典的图像识别 CNN 网络，如 IMAGENET ，最后输出结果是 1X1X1000 ， 1000 是类别种类， 1x1 得到的是。 FCN 作者，或者后来对 end to end 研究的人员，就是对最终 1x1 的结果使用反卷积（事实上 FCN作者最后的输出不是 1X1 ，是图片大小的 32 分之一，但不影响反卷积的使用）。

这里图像的反卷积与 full 卷积原理是一样的，使用了这一种反卷积手段使得图像可以变大，FCN 作者使用的方法是这里所说反卷积的一种变体，这样就可以获得相应的像素值，图像可以实现 end to end 。

这里说另外一种反卷积做法，假设原图是 3*3 ，首先使用上采样让图像变成 7*7 ，可以看到图像多了很多空白的像素点。使用一个 3*3 的卷积核对图像进行滑动步长为 1 的 valid 卷积，得到一个5*5 的图像，我们知道的是使用上采样扩大图片，使用反卷积填充图像内容，使得图像内容变得丰富，这也是 CNN 输出 end to end 结果的一种方法。韩国作者 Hyeonwoo Noh 使用 VGG16 层CNN 网络后面加上对称的 16 层反卷积与上采样网络实现 end to end 输出，其不同层上采样与反卷积变化效果如下：

经过上面的解释与推导，对卷积有基本的了解，但是在图像上的 deconvolution 究竟是怎么一回事，可能还是不能够很好的理解，因此这里再对这个过程解释一下。

目前使用得最多的 deconvolution 有 2 种，上文都已经介绍。

方法 1：full 卷积， 完整的卷积可以使得原来的定义域变大。

方法 2：记录 pooling index，然后扩大空间，再用卷积填充。

图像的 deconvolution 过程如下：

输入：2x2， 卷积核：4x4， 滑动步长：3， 输出：7x7

即输入为 2x2 的图片经过 4x4 的卷积核进行步长为 3 的反卷积的过程

1. 输入图片每个像素进行一次 full 卷积，根据 full 卷积大小计算可以知道每个像素的卷积后大小为 1+4-1=4， 即 4x4 大小的特征图，输入有 4 个像素所以 4 个 4x4 的特征图

2. 将 4 个特征图进行步长为 3 的 fusion（即相加）； 例如红色的特征图仍然是在原来输入位置（左上角），绿色还是在原来的位置（右上角），步长为 3 是指每隔 3 个像素进行 fusion， 重叠部分进行相加，即输出的第 1 行第 4 列是由红色特阵图的第一行第四列与绿色特征图的第

一行第一列相加得到，其他如此类推。

可以看出翻卷积的大小是由卷积核大小与滑动步长决定， in 是输入大小， k 是卷积核大小， s 是滑动步长， out 是输出大小 得到 out = (in - 1) * s + k

上图过程就是， (2 - 1) * 3 + 4 = 7