空洞卷积

空洞卷积的意义

空洞卷积（Dilated/Atrous Convolution）最初是为解决图像语义分割的问题而提出的。常见的图像分割算法通常使用池化层来增大感受野，同时也缩小了特征图尺寸，然后再利用上采样还原图像尺寸。特征图缩小再放大的过程造成了精度上的损失，因此需要有一种操作可以在增加感受野的同时保持特征图的尺寸不变，从而代替池化与上采样操作，在这种需求下，空洞卷积就诞生了。

空洞卷积的定义

空洞卷积就是跳过一些元素进行卷积。下图a代表普通3*3卷积。下图b代表空洞数为2的空洞卷积（在特征图上每两行或两列选取元素与卷积核卷积），虽然其卷积核尺寸为3*3，但是其感受野已经增大到5*5。下图c代表空洞数为3的空洞卷积。pytorch中conv2d函数的dilation参数即代表空洞数。

上图中，同样的一个3*3卷积，却可以起到5*5、7*7等卷积的效果。可以看出，空洞卷积在不增加参数量的前提下，增大了感受野。假设空洞卷积的卷积核大小为k，空洞数为d，则其等效卷积核大小计算如下所示：

                                                                                      

空洞卷积的优缺点

优点

在不引入额外参数的前提下可以任意扩大感受野。同时保持特征图的分辨率不变。这一点在分割与检测任务中十分有用，感受野的扩大可以检测大物体，而特征图分辨率不变使得物体定位更加准确。

缺点

• 网格效应（Gridding Effect）：由于空洞卷积是一种稀疏的采样方式，当多个空洞卷积叠加时，有些像素根本没有被利用到，会损失信息的连续性和相关性，进而影响分割、检测等要求较高的任务。
• 远距离的信息没有相关性：空洞卷积是一种稀疏的采样方式，导致远距离卷积得到的结果之间缺乏相关性，进而影响分类结果。
• 不同尺度物体的关系：大的空洞数对于大物体的分割与检测有利，但是对于小物体则有弊无利，如何处理好多尺度问题的检测，是空洞卷积设计的重点

空洞卷积缺点的解决办法

对于上述问题，图森未来提出了HDC（Hybrid Dilated Convolution）结构，详情请查看：https://www.zhihu.com/question/54149221

 

本文摘抄自：《深度学习之Pytorch物体检测实战》一书