搭建卷积神经网络的技巧

序言

从卷积神经网络的发展史中，可以总结出一些搭建卷积神经网络的时候经常会使用到的一些技巧。

正文

一、卷积核方面

• 大卷积核用多个小卷积核代替；
• 单一尺寸卷积核用多尺寸卷积核代替；
• 可变形卷积的使用；
• 使用1x1卷积核（bottleneck结构）。

二、卷积通道方面

• 标准卷积用depthwise卷积代替；
• 使用分组卷积；
• 分组卷积前使用channel shuffle（ShuffleNet系列）；
• 通道加权计算（SE通道注意力）。

三、卷积连接方面

• 使用skip connection，让网络更深（ResNet）；
• densely connection，使每一层都融合上其他层的特征输出（DenseNet）。