ResNet的Block结构
ResNext的Block结构
ResNext使用的是结构(a),但其实(a),(b),©是等价的
ShuffleNetv1的Block结构
三种网络Block结构的FLOPs计算
假设block的input size:
c*h*w
并且 bottlneck的通道是m,那么三种block的Flops计算如下:
ResNet:hw(1*1*c*m)+hw(3*3*m*m)+hw(1*1*m*c)=hw(2cm+9m^2)
ResNext:hw(1*1*c*m)+hw(3*3*m*m)/g+hw(1*1*m*c)=hw(2cm+9m^2/g)
(ResNext使用了组卷积,g是组数)
ShuffleNet:hw(1*1*c*m)/g+hw(3*3*m)+hw(1*1*m*c)/g=hw(2cm+9m)
(BottleNeck中使用的是11组卷积+33DW卷积+1*1组卷积)
DW卷积是Group卷积的特殊情况,当组数g等于m(卷积核个数)时,GConv就是DW卷积