深度学习到底有多少种卷积方式？（含配图）

1 焦点

如何通过卷积方式的选择改进已有网络架构

关于convolution

2 传统网络为什么用小卷积替代大卷积？（VGG Net）

kernel_size	Adv	exp	dis_Adv
large_kernel_size	感受域范围大	AlexNet、LeNet等网络都使用了比较大的卷积核，如5×5,11×11	参数量多；计算量大
small_kernel_size	参数量少；计算量小；整合三个非线性激活层代替单一非线性激活层，增加模型判别能力	VGG之后	感受域不足；深度堆叠卷积容易出现不可控的因素

3 能否让固定大小的卷积核看到更大范围的区域？(空洞卷积)

标准的3×3卷积核只能看到对应区域3×3的大小，但是为了能让卷积核看到更大的范围，dilated conv使其成为了可能。pooling下采样操作导致的信息丢失是不可逆的，这不利于像素级任务，用空洞卷积代替pooling的作用（成倍的增加感受野）更适用于语义分割。

4 卷积核一定是正方形吗？（非对称卷积）

将标准3×3卷积拆分成一个1×3卷积和3×1卷积，在不改变感受野大小的情况下可减少计算量。

5 卷积只能在同一组进行吗？(组卷积&深度可分离卷积)

组卷积是对输入特征图进行分组，每组分别进行卷积。假设输入特征图的尺寸为CHW(12×5×5)，输出特征图的数量为N(6)个，如果设定要分成G(3)个groups，则每组的输入特征图数量为C / G ( 4 )，每组的输出特征图数量为N/G(2)，每个卷积核的尺寸为(C/G)KK(4×5×5)，卷积核的总数仍为N(6)个，每组的卷积核数量为N/G(2)，每个卷积核只与其同组的输入特征图进行卷积，卷积核的总参数量为N*(C/G)KK，可见，总参数量减少为原来的1/G。

6 分组卷积能否对通道进行随机分组？(ShffleNet)

为达到特征之间的相互通信，除了采用dense point wise convolution，还可以使用channel shuffle。对group convolution之后的特征图进行“重组”，这样可以保证下面的卷积其输入来自不同的组，因此信息可以在不同组之间流转。图c进一步的展示了这一过程，相当于“均匀地打乱”。

7 每层卷积只能用一种尺寸的卷积核吗 ？(Inception)

传统的层叠式网络，基本上都是一个个卷积层的堆叠，每层只用一个尺寸的卷积核，例如V G G结构中使用了大量的3×3卷积层。事实上，同一层feature map可以分别使用多个不同尺寸的卷积核，以获得不同尺度的特征，再把这些特征结合起来，得到的特征往往比使用单一卷积核的要好。为了尽可能的减少参数，一般先用1 * 1的卷积将特征图映射到隐空间，再在隐空间做卷积。

8 通道间的特征都是平等的吗？(SENet)

无论是在Inception、DenseNet或者ShuffleNet里面，我们对所有通道产生的特征都是不分权重直接结合的，那为什么要认为所有通道的特征对模型的作用都是相等的呢？一个卷积层中往往有数以千计的卷积核，每个卷积核都对应了特征，于是那么多特征要怎么区分？这个方法就是通过学习的方式来自动获取到每个特征通道的重要程度，然后依照计算出来的重要程度去提升有用的特征并抑制对当前任务用处不大的特征。

9 卷积核形状一定是矩形吗？(可变形卷积)

规则形状的卷积核（比如一般用的正方形3*3卷积）可能会限制特征的提取，如果赋予卷积核形变的特性，让网络根据label反传下来的误差自动的调整卷积核的形状，适应网络重点关注的感兴趣的区域，就可以提取更好的特征。例如，网络会根据原位置（a），学习一个offset偏移量，得到新的卷积核（b）（c）（d），那么一些特殊情况就会成为这个更泛化的模型的特例，例如图（c）表示从不同尺度物体的识别，图（d）表示旋转物体的识别

10 网络改写思路

（1）kernel：

首先，大卷积核用多个小卷积核替代
其次，单一尺寸卷积核用多尺寸卷积核替代
再者，用可变形卷积替代固定形状卷积核
或是，在网络中添加1X1卷积

（2）channels：

首先，引入深度可分离卷积
其次，引入分组卷积
再者，引入channel shuffle
或是，feature map 加权

（3）connection

首先，引入skip
其次，引入 dense，使每层都融合其他层（DenseNet）

11 总结