卷积和通道的理解

1、卷积

将输入和输出用线连接起来，以可视化它们之间的依赖关系。线条的数量分别粗略地表示在空间和通道上执行卷积的计算成本。

最常用的 3x3 的卷积，可以通过上图进行可视化。我们可以看到，在空间中，输入和输出是局部连接的，而在通道中则是全连接。

下一个例子，conv1x1 或用于改变通道大小的逐点卷积，如上图所示。这种卷积的计算成本是 HWNM，因为其卷积核大小为 1x1，所以其计算成本是 3x3 卷积的 1/9。这种卷积被用来「融合」各个通道的信息。

2、分组卷积

分组卷积是卷积的一种变体，其中输入特征图的通道被分组，然后卷积在每组通道上独立进行。G 代表分组数量，分组卷积的计算成本是 HWNK²M/G，与标准卷积相比，分组卷积的计算成本变成了 1/G。

 G=2 的分组 conv3x3 的例子。我们可以看到，与标准卷积相比，分组卷积通道中的连接数更少，这意味着更小的计算成本。

G=3 的分组 conv3x3 的例子。连接变得更加稀疏了。

G=2 的分组 conv1x1 的例子。因此，conv1x1 也可以分组。这种卷积被用在 ShuffleNet 中。

 G=3 的分组 conv1x1 的例子