一、分组卷积(Group Convolution)


第一张图是标准的卷积操作,若输入的特征图是H×W×c1,卷积核的尺寸为h1×w1×c1,输出特征图的尺寸为H×W×c2,那么标准卷积层的参数量为h1×w1×c1×c2。
第二张图是分组卷积操作,将输入的调整图按通道数分为g组,则每组特征图的尺寸为H×W×(c1/g),对应的卷积核的尺寸为h1×w1×(c1/g),每组输出的特征图尺寸为H×W×(c2/g),将g组的结果拼接(concat),最终输出的特征图的尺寸为H×W×c2,此时分组卷积层的参数量是:
h1×w1×(c1/g)×(c2/g)×g=h1×w1×c1×c2×(1/g)
由此可看出分组卷积的参数量是标准卷积层的(1/g
二、深度可分离卷积(Depthwise separable convolution)

图a表示标准卷积,假设输入的特征图尺寸为Df×Df×M,卷积核尺寸为Dk×Dk×M,输出特征图的尺寸为Df×Df×N,标准卷积层的参数量为Dk×Dk×M×N。
图b表示深度卷积,图c表示分点卷积,两者合起来就是深度可分离卷积,深度卷积负责滤波,尺寸为Dk×Dk×1,共M个,作用在输入的每个通道上;逐点卷积负责转化通道,尺寸为1×1×M,共N个,作用在深度卷积的输出特征映射上。
深度卷积的参数量是Dk×Dk×1×M,逐点卷积的参数量是1×1×M×N,所以深度可分离卷积的参数量是标准卷积参数量比值是:

深度学习优化技巧:分组卷积与深度可分离卷积解析
本文介绍了两种深度学习中用于减少计算复杂度的卷积操作:分组卷积和深度可分离卷积。分组卷积通过将输入通道分组,降低了参数量,而深度可分离卷积则由深度卷积和逐点卷积两部分组成,进一步减少了参数数量。这两种技术常用于轻量化模型设计,以实现高效计算和资源优化。
1042

被折叠的 条评论
为什么被折叠?



