深度可分离卷积_MixNets将多尺度深度卷积引入NAS

摘要:

MixNet 是google在AutoML领域的又一力作，深度分离卷积在当前轻量级卷积神经网络得到广泛应用，但其卷积核尺寸却很少得到关注，比如目前网络主体只使用3*3尺寸的卷积核。论文首先分析了在深度分离卷积中使用不同尺寸的深度卷积核对最终结果的影响，进而又进行实验证明组合多尺寸卷积核可以取得更好的精度与效率。基于以上实验结论，论文提出一种新的混合深度卷积(Mixed Depthwise Convolution, MixConv)，在一个深度分离卷积中混合了多种尺寸，最后又把MixConv集成到AutoML的搜索空间，搜索出了MixNets。

1

卷积核尺寸对准确率的影响

由于论文探究的是在深度卷积上卷积核尺寸对最终精度的影响，所以文中选用了MobileNet V1和MobileNet V2作为基准网络进行实验，如图1所示，当卷积核持续增大时，准确率会先增后减少，这个结果说明更大的卷积核是可以带来可观的准确率提升，虽然这样做会带来相应的参数量增加。

图1  不同卷积核尺寸对最终准确率的影响

2

混合深度分离卷积MixConv

基于上述实验结果，