卷积那些事儿

2 什么是多卷积核

2.1 卷积

从本质上讲，卷积的计算过程其实同全连接一样，也是各个神经元之间的线性组合。只是卷积操作在进行线性组合时选择的是特定位置上的神经元。下面我们首先通过一张动图来直观感受一下卷积的过程。

图 1. 卷积计算图

如图1所示，卷积操作其实就是每次取一个特定大小的矩阵F（蓝色矩阵中的阴影部分），然后将其对输入X（图中蓝色矩阵）依次扫描并进行内积的运算过程。可以看到，阴影部分每移动一个位置就会计算得到一个卷积值（绿色矩阵中的阴影部分），当F扫描完成后就得到了整个卷积后的结果Y（绿色矩阵）。

同时，我们将这个特定大小的矩阵F称为卷积核，即convolutional kernel或kernel或filter或detector，它可以是一个也可以是多个；将卷积后的结果Y称为特征图，即feature map，并且每一个卷积核卷积后都会得到一个对应的特征图；最后，对于输入X的形状，都会用三个维度来进行表示，即宽（width），高（high）和通道（channel）。例如图1中输入X的形状为[7,7,1]。

2.2 多卷积核

注意，在上面笔者提到了卷积核的个数还可以是多个，那我们为什么需要多个卷积核进行卷积呢？在上一篇文章中我们介绍到：对于一个卷积核，可以认为其具有识别某一类元素（特征）的能力；而对于一些复杂的数据来说，仅仅只是通过一类特征来进行辨识往往是不够的。因此，通常来说我们都会通过多个不同的卷积核来对输入进行特征提取得到多个特征图，然再输入到后续的网络中。

图 2. 多卷积核卷积图

如图2所示，对于同一个输入，通过两个不同的卷积核对其进行卷积特征提取，最后便能得到两个不同的特征图。从图2右边的特征图可以发现，上面的特征图在锐利度方面明显会强于下面的特征图。当然，这也是使用多卷积核进行卷积的意义，探测到多种特征属性以有利于后续的下游任务。

3 卷积的计算

到此为止， 对于卷积的原理和意义就算是交待完了，并且通过这些动态图片的展示，我们也有了更为直观的了解。但所谓数无形时少直觉，形少数时难入微。因此，下面我们就以单通道（灰度图）和三通道的输入来实际计算一下整个卷积的过程。

3.1 单通道单卷积核

如图3所示，现在有一张形状为[5,5,1]的灰度图，我们需要用图3右边的卷积核对其进行卷积处理，同时再考虑到偏置的作用。那么其计算过程是怎么样的呢？

图 3. 输入与卷积

如图4所示，右边为卷积后的特征图（feature map），左边为卷积核对输入图片左上放进行卷积时的示意图。因此，对于这个部分的计算过程有：

1⋅0+2⋅0+0⋅1−1⋅0+1⋅1+0⋅1+2⋅1−1⋅0−2⋅1⏟kernel+1⏟bias=2(1)

图 4. 单通道单卷积（一）

同理，对于最右下角部分卷积计算过程有：

2⋅0+1⋅0+0⋅1+0⋅0+0⋅1+0⋅1−1⋅1+0⋅0−0⋅1+1=0(2)

图 5. 单通道单卷积（二）

因此，对于最后卷积的结果，我们得到的将是一个如图5右边所示形状为[3,3,1]的特征图。到此我们就把单通道单卷积的计算过程介绍完了。下面我们再来看单通道多卷积核的例子。

3.2 单通道多卷积核

如图6所示，左边依旧为输入矩阵，我们现在要用右边所示的两个卷积核对其进行卷积处理。

图 6. 单通道多卷积（一）

同时可以看到，图6中右边的第一个卷积核就是图3里的卷积核，其结果也就是图5中计算得到的结果。对于旁边的卷积核，其计算过程如图7所示：

图 7. 单通道多卷积（二）

最后我们便能得到如图8右边所示的，形状为[3,3,2]的卷积特征图，其中2表示两个特征通道。

图 8. 单通道多卷积结果

到此，对于单通道的卷积计算过程就介绍完了。但通常情况下，我们遇到得更多的就是对多通道的输入进行卷积处理，例如包含有RGB三个通道的彩色图片等。接下来，笔者就开始介绍多通道的卷积计算过程。

3.3 多通道单卷积核

对于多通道的卷积过程，总体上还是还是同之前的一样，都是每次选取特定位置上的神经元进行卷积，然后依次移动直到卷积结束。下面我们先来看看多通道单卷积核的计算过程。

图 9. 多通道单卷积输入

如图9所示，左边为包含有三个通道的输入，右边为一个卷积核和一个偏置。注意，强调一下右边的仅仅只是一个卷积核，不是三个。笔者看到不少人在这个地方都会搞错。因为输入是三个通道，所以在进行卷积的时候，对应的每一个卷积核都必须要有三个通道才能进行卷积。下面我们就来看看具体的计算过程。

图 10. 多通道单卷积核图

如图10所示，右边为卷积后的特征图（feature map），左边为一个三通道的卷积核对输入图片左上放进行卷积时的示意图。因此，对于这个部分的计算过程有：

(0⋅2+2⋅0+0⋅0+0⋅1+2⋅0+0⋅1+2⋅0+1⋅3+2⋅0)⏟channel1+(0⋅1+0⋅0+0⋅1+1⋅0+0⋅0+0⋅0+1⋅1+0⋅1+0⋅1)⏟channel2+(1⋅0+1⋅0+0⋅1+0⋅1+1⋅1+0⋅1+0⋅1+1⋅1+1⋅0)⏟channel3+1⏟bias=3+1+2+1=7(3)

同理，对于其它部分的卷积计算过程也类似于上述计算步骤。由此我们便能得到如图10右边所示卷积后的形状为[3,3,1]的特征图。

3.4 多通道多卷积核

在介绍完多通道单卷积核的计算过程后，我们再来看看多通道多卷积核的计算过程。

图 11. 多通道多卷积核图

如图11所示，左边依旧为输入矩阵，我们现在要用右边所示的两个卷积核对其进行卷积处理。同时可以看到，第一个卷积核就是图9中所示的卷积核，其结果如图10所示。对于第二个卷积核，其计算过程也和式子(3)类似，都是将每个通道上的卷积结果进行相加，最后再加上偏置。因此，最后我们便能得到如图12右边所示的，形状为[3,3,2]的卷积特征图，其中2表示两个特征通道。

图 12. 多通道多卷积核结果图

同时，从上面单通道卷积核多通道卷积的计算过程可以发现：

（1）原始输入有多少个通道，其对应的一个卷积核就必须要有多少个通道，这样才能与输入进行匹配，也才能完成卷积操作。换句话说，如果输入数据的形状为[n,n,c]，那么对应每个卷积核的通道数也必须为c。

（2）用k个卷积核对输入进行卷积处理，那么最后得到的特征图一定就会包含有k个通道。例如，输入为[n,n,c]，且用k个卷积核对其进行卷积，则卷积核的形状必定为[w1,w2,c,k]，最终得到的特征图形状必定为[h1,h2,k]；其中w1,w2为卷积核的宽度，h1,h2为卷积后特征图的宽度。

引用

原来卷积是这么计算的 - 知乎 (zhihu.com)