卷积神经网络中卷积层、反卷积层和相关层

卷积层、反卷积层和相关层三个层之间有很大的相似之处，现在好好分析一下。
1.卷积层
下图较大网格表示一幅图片，有颜色填充的网格表示一个卷积核，卷积核的大小为33。假设我们做步长为1的卷积操作，表示卷积核每次向右移动一个像素（当移动到边界时回到最左端并向下移动一个单位）。卷积核每个单元内有权重，下图的卷积核内有9个权重。在卷积核移动的过程中将图片上的像素和卷积核的对应权重相乘，最后将所有乘积相加得到一个输出。下图经过卷积后形成一个64的图。
在我们一般的网络中往往输入的图片是多个通道的（红绿蓝三个颜色通道），所以这是我们的卷积核也是三维的。比如我们的输入是28283的图片（前两个28代表图片的长和宽，后面的3代表三个颜色通道），这是我们的第一个卷积层所使用的卷积核是333的（卷积核的第三维通道数和图片的通道数一定是一样的，这里是三）;这是我们的步长为1,那么我们通过卷积操作就获取了一张26261的一张特征图。但是这时我们只提取了一次特征，在卷积神经网络中，为了更好的发挥网络的功能，我们会在一个卷积层中使用许多个同样尺寸的卷积核，比如这里我们使用128个卷积核，那么通过第一层我们就得到了128个26261的特征图，把他们叠在一起就得到了28283的特征图，这就是一个卷积层的输出。

2.相关层
卷积的操作
也就是说，在卷积的过程中，其实我们是先将卷积核翻转180度之后，将它遍历整张图片进行点乘获取特征图。而在相关层中，其实我们的目的是找到两个特征图之间的相关程度。在计算时，它和卷积层的区别只在于它没有进行翻转。
对于两个特征图之间的相关层计算我们以下图的相关层为例。
在这个网络中，我们的输入是两张图片，我们将两张图片分别通过两个卷积神经网络，加入最后得到了两个384512256（256是通道数）的特征图，下一步我们的目的是找出两个特征图的相关度。具体的计算过程是首先我们上面的特征图中我们要将其中的384512256的特征找出384512个11256的卷积核进行相关层操作，根据上文，为了简化计算量，我们每个卷积核只和下面的特征图的一部分区域进行相关层操作。比如我们选择的尺度为10,那么每个卷积核将进行的相关层操作范围为2121（在384512的平面中以该点为中心，上下左右各取10）得到的操作范围作为获取的新的特征图的第三维数据，所以第三维数据为2121=441，一共有384512个卷积核，所以获取的特征图尺寸为384512441，再使用32个11256的卷积核获取了38451232的特征图，叠在一起就是384512473的特征图。
3.反卷积层
反卷积层并不是卷积层的逆运算，我认为它属于卷积层的一种变体。但它的任务与卷积层的不同在于卷积层的操作过程中会将图片的尺寸变小或保持不变，而反卷积层的任务是将特征图尺寸变大以实现全卷积神经网络的目的（往往我们会使用它来实现输入为图片，输出也是图片的任务）。卷积层的过程就是使用卷积核翻转后在原图片上进行遍历点乘，而反卷积层由于需要放大特征图的尺寸，所以我们首先会使用padding的方法，对特征图进行填充（一般补充零），进一步进行卷积操作。比如一个443的特征图,我们首先会对他进行填充，通过补0的方式将它变为883的特征图，进一步使用28个333的卷积核对它进行卷积操作，我们就得到了66*28的特征图，很好的解决了扩充图片尺寸的任务，同时提取了图片的特征。
填充的方法有很多种，如下图：
但是填充时我们也并不是进行填充0，往往需要进行插值等方式来填充，如下图：
参考：https://blog.csdn.net/Nianzu_Ethan_Zheng/article/details/79017711