算法笔记(五)各类卷积操作

前言

卷积参数

1. $kernel$：卷积核大小k。
2. $C_{out}$：卷积核数量，即输出通道数。
3. $C_{in}$：卷积核维度，即输入通道数。
4. $padding$：填充数p。
5. $stride$：滑动步长s。
6. $dilation$: 内核点之间的距离d。
7. gourp:将卷积组分组。

1. 传统卷积计算

假如输入图像$(H,W,C_{in})$，使用$C_{out}$个$(K,K,C_{in})$的卷积，且填充为P，步长为S。

卷积核以滑动窗口形式扫描输入图片，对应元素逐点相乘再多通道相加：
$$out(N_i,C_{ou{t}_j})=bias(C_{ou{t}_j})+\sum _{k=0}^{C_{in}-1}weight(C_{ou{t}_j},k)⨂input(N_i,k)$$

传统卷积后特征图大小

$$H_{out}=floor(\frac{H_{in}-K+2P}{S}+1)$$，对W同理。

卷积计算量

$$consumptions=K\ast K\ast C\ast C_{out}\ast H\ast W+C_{out}$$

卷积参数量

$$parms=K\ast K\ast C\ast C_{out}+C_{out}$$

2. 反卷积

也就是传统卷积的逆运算：
$$H_{out}=(H_{in}-1)\ast S-2P+K$$

常用于GAN等生成任务中，缺点是容易出现棋盘格伪影。

如何减少棋盘效应：

1. 确保使用的filters的大小能被步长整除，以避免不均匀的重叠问题。
2. 可以使用步长=1的转置卷积。
3. 调整图像的大小(使用最近邻插值或双线性插值)，然后再进行卷积。

3. 空洞卷积

使用空洞卷积后特征图大小：

$H_{out}=floor(\frac{H_{in}+2P-d(K-1)-1}{S}+1)$，对W同理。

好处：

1. 不需要额外的计算量就可以获得更大的感受野。例如(3,3)的卷积核，设置d为1时，等同(3,3)的感受野；当d为2时，等同于(5,5)的感受野；当d=3时，等同于(7,7)的感受野。

4. 分组卷积

对应的输入组与对应的卷积组进行卷积操作。

• 例如输入特征图为$(C_1,H,W)$，卷积组为$C_2$个$(C,K,K)$，分成3个group。

• 每$(\frac{C_1}{3},H,2)$的特征图与每$\frac{C_2}{3}个(C,K,K)$进行卷积，然后再拼接起来。

分组卷积的优点：

1. 分组卷积的参数量是正常卷积的1/N 。N为分组数。
2. 分组卷积可以看成是正常卷积的稀疏结构，可以视为一种正则。
3. 逐通道卷积可以进一步减少参数，在轻量化网络中很常用。
4. GPU并行化，加速训练。

分组卷积的缺点：

1. 数据信息只存在本组里面。通道之间的信息没有交互，存在信息的屏蔽和阻塞，不流通。
2. groups一定要同时被输入通道数和输出通道数整除，否则会报错。

参数量和计算量对比

假如输入的特征图$(H_1,W_1,C_1)$，输出$(H_2,W_2,C_2)$

• 标准卷积：使用带$C_2$个标准卷积$(K,K,C_1)$：
  • 计算量为：$(K\ast K\ast C_2)\ast (C_1\ast H_1\ast W_1)$
  • 参数量为：$K\ast K\ast C_2\ast C_1+C_2$
• 分组卷积：使用N组$(K,K,\frac{C_2}{N})$的卷积核，且输入图也分为N组，即$(H_1,W_1,\frac{C_1}{N})$：
  • 计算量为：$(K\ast K\ast \frac{C_2}{N})\ast (\frac{C_1}{N}\ast H_1\ast W_1)\ast N$
  • 参数量为：$K\ast K\ast \frac{C_2}{N}\ast \frac{C_1}{N}\ast N+C_2$
• 计算量占比：$$\frac{(K\ast K\ast \frac{C_2}{N})\ast (\frac{C_1}{N}\ast H_1\ast W_1)\ast N}{(K\ast K\ast C_2)\ast (C_1\ast H_1\ast W_1)}=\frac{1}{N}$$
• 参数量占比，忽略加号：$$\frac{K\ast K\ast \frac{C_2}{N}\ast \frac{C_1}{N}\ast N}{K\ast K\ast C_2\ast C_1}=\frac{1}{N}$$

4.1 随机分组卷积

随机分组卷积于ShuflleNet提出，核心思想是将组卷积后得到的特征图进行组通道混合，使得跨通道信息流通。

正常的按顺序分组，分3组情况如下，不同颜色代表不同组：

下图是Shuffle Channel情况，是将随机打乱(输入组*卷积组)得到的特征组，即将输出的特征组内的channel人为分配到不同的组中。

好处：

1. 未shuffle的问题在于每个filters组仅处理从先前层中的固定部分向下传递的信息。因此，每个filters组仅限于学习特定特征，阻止不同channel 组之间的信息流通。
2. 将shuffled后的特征不同channel组进行混合，信息能够在通道组之间流动，加强了特征表示。
   但是 shuffleNet 也有两个缺点：

缺点：

1. Channel Shuffle 在实现的时候需要大量的指针跳转和 Memory set，这本身就是极其耗时的；同时又特别依赖实现细节，导致实际运行速度不会那么理想。
2. Channel Shuffle 的规则是人定的，每个通道都需要等量地交换信息，不一定是最优的，不是网络自己学出来的。

4.2 逐点分组卷积

1*1的普通卷积占据了总计算量的大部分，为了减少计算量，也将1*1的卷积进行分组。

参数量和计算量对比

假如输入特征图$(H,W,C)$，输出$(H_2,W_2,C)$，假设第一个(1,1)和(3,3)卷积的输出通道为$m$，最终的输出通道数为$C$，则不同网络参数量为：

• ResNet :
  $$\begin{gathered} H\ast W\ast (1\ast 1\ast C\ast m)+H\ast W\ast (3\ast 3\ast m\ast m)+H\ast W\ast (1\ast 1\ast m\ast C) \\ =H\ast W\ast (2\ast C\ast m+9m^2) \end{gathered}$$
• ResNeXt :
  $$\begin{gathered} H\ast W\ast (1\ast 1\ast C\times m)+H\ast W\ast (3\ast 3\ast m\ast m)/N+H\ast W\ast (1\ast 1\ast m\ast c) \\ =H\ast W\ast (2\ast C\ast m+9m^2/N) \end{gathered}$$
• ShuffleNet :
  $$\begin{gathered} H\ast W\ast (1\ast 1\ast C\ast m)/N+H\ast W\ast (3\ast 3\ast m)+H\ast W\ast (1\ast 1\ast m\ast c)/N \\ =H\ast W\ast (2\ast C\ast m/N+9m) \end{gathered}$$

DW conv 其实就是 N = m。

5. 分离卷积

5.1 空间可分离卷积

将(K, K)卷积分成(K, 1)卷积核和(1, K)卷积核，但并不是所有的卷积核都可以被拆分成两个小的卷积核。

以下是可拆分的情况：Sobel的kennel（3x3的kennel）分为3x1和1x3的kennel。

5.2 深度可分离卷积

将$(C_{in},K,K)$的卷积核 拆分成 $(1,K,K)$[depthwise convolution]和$(C_{in},1,1)$[pointwise convolution]的卷积核。Mobilenet中使用的基础卷积单元就是深度可分离卷积(depthwise separable convolution)。

• 先使用depthwise convolution对每一个通道分别进行卷积操作，
• 然后采用pointwise convolution将上面的输出再进行结合。
  
  $$\begin{gathered} 图1(a)为传统卷积(K,K,C)操作可拆成(K,K,1)和(1,1,C)， \\ 图1(b)为depthwise卷积也就是(K,K,1)， \\ 图1(c)为pointwise卷积(1,1,C)。 \end{gathered}$$

参数量和计算量对比

假如输入特征图大小为$(H_1,W_1,C_1)$，输出大小为$(H_2,W_2,C_2)$。

• 使用带$C_2$个标准卷积大小$(K,K)$，并且卷积核输入时有$C_1$个：
  • 计算量为：$(K\ast K\ast C_2)\ast (C_1\ast H_1\ast W_1)$
  • 参数量为：$K\ast K\ast C_2\ast C_1+C_2$
• 深度级可分离卷积，可拆分成$(K,K,1)$和$(1,1,C_2)$：
  • depthwise计算量：$(K\ast K\ast 1)\ast (H_1\ast W_1\ast C_1)$，参数量：$K\ast K\ast 1\ast C_1+1$。
  • pointwise计算量：$(1\ast 1\ast C_2)\ast (H_1\ast W_1\ast C_1)$，参数量：$1\ast 1\ast C_2\ast C_1+C_2$。
  • 总计算量为：$(K\ast K\ast 1)\ast (H_1\ast W_1\ast C_1)+(1\ast 1\ast C_2)\ast (H_1\ast W_1\ast C_1)=(K^2+C_2)\ast (H_1\ast W_1\ast C_1)$
  • 总参数量为：$K\ast K\ast 1\ast C_1+1+1\ast 1\ast C_2\ast C_1+C_2=C_2\ast C_1+K^2{C}_1+C_2+1$
• 计算量占比：$$\frac{(K^2+C_2)\ast (H_1\ast W_1\ast C_1)}{(K\ast K\ast C_2)\ast (C_1\ast H_1\ast W_1)}=\frac{1}{C_2}+\frac{1}{K^2}$$
• 参数量占比，忽略加号：$$\frac{C_2\ast C_1+K^2{C}_1}{K\ast K\ast C_2\ast C_1}=\frac{1}{K^2}+\frac{1}{C_2}$$

因此，我们通常所使用的是3×3的卷积核，也就是会下降到原来的九分之一到八分之一。

1*1卷积核

1x1 卷积核作用：

1. 激活函数搭配，增加网络的非线性，加深网络。
2. 可用于减少特征图的通道数，以便后续卷积减少计算量和参数量。