轻量化网络研究角度:
分组卷积:一组d维的卷积核负责卷积输入中的d维,有几组就生成几组channel。这里一组可以是1,2,3………个卷积核。
深度可分离卷积(depthwise separable convolution):深度可分离卷积就是分组卷积的特例,d等于1,一组就是一个。
即:每一个卷积核都是深度为1(薄片片)跟输入中的一个通道卷积,生成一个feature map。
pointwise conv(1*1卷积):能够跨层通信,引入非线性,降维,升维
由于深度可分离卷积每一个卷积核只关注自己输入的通道,没有跨通道的通信;所以引入1*1conv
MoblieNet 的基本模块:深度可分离卷积+1*1卷积
深度可分离卷积+1*1卷积的计算量与经典卷积比较:计算量和参数量大概是经典卷积的1/9
经典卷积后的每一个元素都是一个卷积核的卷积
im2col加速:把卷积运算变为矩阵运算,把每一次卷积的输入变为列向量,把卷积核变为一个行向量。由于im2col很快,并且mobilent里绝大多计算量来自1*1卷积,而1*1卷积天然是im2col