分组卷积
不考虑权重项的话,常规卷积的参数量是:
若分组数为G,则分组卷积的参数量是:
即分组卷积可将参数量减小为原来的1/G。
注:分组卷积,输出特征图通道数不需要与输入通道数相同
pytorch的nn.Conv2d中的groups参数代表需要分的组数量,默认值为1(即常规卷积)
深度可分离卷积(Depthwise Separable Convolution)
深度可分离卷积先进行depthwise convolution,然后进行pointwise convolution(其实质就是1*1的标准卷积)
标准卷积如下图:
depthwise convolution: 卷积是在二维平面进行的,一个卷积核对应一个通道,输出通道数等于输入通道数
pointwise convolution:融合特征图各个通道之间的信息,可以改变输出通道数
DW卷积的计算量和标准卷积计算量之间比例关系为:(注意是运算量,不是参数量)
式中为卷积核长(或宽,如3),M为输入通道数,N数输出通道数,
为输入特征图分辨率(如256)
一般N很大,1/N很小,所以3*3卷积的话DW卷积的运算量是标准卷积运算量的1/9
分组卷积与depthwise 卷积的区别
- 分组卷积的卷积核仍然是三维的,只不过卷积的输入通道和输出通道都是在分组内进行的。此外,输出通道数可以与输入通道数不相等
- depthwise卷积的卷积核是二维的,输出通道数等于输入通道数,输出通道与输入通道间是一一对应的。
参考: