分组卷积(Group Convolution中的channel shuffle)
子单元
ref
https://blog.csdn.net/qq_33427431/article/details/89458582?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-1&spm=1001.2101.3001.4242
shufflenetv2
设计原则
1 同等通道大小最小化内存访问量
根据均值不等式
得
MAC存在下限(在c1=c2成立
验证
实验网络是由10个block堆叠组成,每个block包含2个1×1卷积层,第一个卷积层的输入输出通道分别是c1和c2,第二个卷积层相反(c2,c1)。4行结果分别表示不同的c1:c2比例,但是每种比例的FLOPs都是相同的。
2 过多的分组卷积操作会增大MAC,从而使模型速度变慢
g越小,速度越快。因此,作者建议应根据目标平台和任务仔细选择组号。虽然组卷积能增加模型的准确度,但是作者认为盲目使用较大的组号是不明智的,因为这将会使得计算成本增加带来的缺点大于准确度增加带来的优点。
3模型中的分支数量越少,模型速度越快
其中, 2-fragment-series表示一个block中有2个卷积层串行,也就是简单的叠加; 4-fragment-parallel表示一个block中有4个卷积层并行,类似Inception的整体设计。 可以看出在相同FLOPs的情况下,单卷积层(1-fragment)的速度最快。
4 Element-wise操作不能被忽略
Element-wise包括Add/Relu/short-cut/depthwise convolution等操作。
特征服用
ref
https://xueqiu.com/7788828530/133209365