卷积方式汇总

总所周知，卷积神经网络中的卷积方式有很多，除了标准卷积和转置卷积，还有空洞卷积、分组卷积、深度可分离卷积、非对称卷积、可变形卷积等等。

那么，本文主要是以提出问题的方式来对卷积方式进行汇总，而关于所提到的卷积方式的定义及其过程所提及的并不是很多。

一、为什么要用小卷积核替代大卷积核？

1. 大卷积核
   优点：感受域范围大
   缺点：参数量多；计算量大
   举例：AlexNet、LeNet等网络都使用了比较大的卷积核，如5×5 , 11×11

2. 小卷积核
   优点：参数量少；计算量小；整合三个非线性激活层代替单一非线性激活层，增加模型判别能力
   缺点：感受域不足；深度堆叠卷积容易出现不可控的因素
   举例：VGG之后

因此，实际上，可以通过使用多个小卷积核能够达到与大卷积核同样大小的感受野，同时能够降低参数量。

二、能否让固定大小的卷积核看到更大范围的区域？

使用空洞卷积

标准的3 × 3 卷积核只能看到对应区域3 × 3 的大小， 但是为了能让卷积核看到更大的范围，dilatedconv使其成为了可能。pooling下采样操作导致的信息丢失是不可逆的， 这不利于像素级任务， 用空洞卷积代替pooling的作用（成倍的增加感