13.分组卷积

---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

1.背景介绍

分组卷积最早在2012年的AlexNet中提出，当时受限于单个GPU的内存和运算能力，在通道方向上将特征图和卷积核分成$g$组分别计算，然后再将每组卷积得到的结果$concatenate$后得到最终的结果。

2.标准卷积

卷积输入特征图shape：$H_1\times W_1\times C_1$

标准卷积核的大小：$h_1\times w_1\times C_1$

总共有$C_2$个上述标准卷积核，标准卷积操作会将$C_2$个卷积核应用到输入的特征图上，

最后得到的标准卷积输出的特征图shape为：$H_2\times W_2\times C_2$

普通卷积层参数量的计算：

$$C_1\times h_1\times w_1\times C_2$$

普通卷积层的FLOPs公式（仅包含乘法，不包括激活/偏置/加法）：

$$C_1\times C_2\times W_2\times H_2\times w_1\times h_1$$

2.分组卷积

分组卷积是把输入特征图在通道$C_1$这个维度上分成$g$组，同时把卷积核也分成$g$组，这样每个组的卷积核大小就变成了$h_1\times w_1\times \frac{C_1}{g}$,输出的特征图在通道维度上被分成了$g$组。

这样分组卷积相当于把输入特征图，和卷积核在通道上分成了$g$个卷积，然后将卷积得到的结果相合并。

对于每个组的卷积：

输入特征图的shape：$H_1\times W_1\times \frac{C_1}{g}$

每个组的卷积核大小：$h_1\times w_1\times \frac{C_1}{g}$

输出的特征图的shape:
$
H_2\times W_2\times \frac{C_2}{g}
$

将$g$组卷积后得到的特征图在通道维度上合并得：$
H_2\times W_2\times C_2
$

分组卷积层参数量的计算：

$$\frac{1}{g}\times C_1\times h_1\times w_1\times C_2$$

分组卷积层的FLOPs公式（仅包含乘法，不包括激活/偏置/加法）：

$$\frac{1}{g}\times C_1\times C_2\times W_2\times H_2\times w_1\times h_1$$

---

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

---

致谢：图片来自于百度paddle框架文档[1]

参考资料

• 1.百度paddle分组卷积介绍