增大图像感受野方法的总结

感受野的理解

输入图片input在经过不同的卷积层时，所能看到图像的结构是不一样的。当经过较浅的卷积层作用之后，图像每个像素点只是对原图像的局部信息的一个特征提取（卷积的作用：通过卷积核提取图像的特征，卷积核的大小决定了对图像局部加权的范围），图像的细节信息丰富，但是图像的上下文信息确实很少，我们将其称之为图像的感受野小。反之，图像经过深层的卷积层作用之后，图像能看到的原图像的范围要更大，但同时细节信息缺失，我们将其称之为图像的感受野小。

作用

• 一般task要求感受野越大越好，如图像分类中最后卷积层的感受野要大于输入图像，网络深度越深感受野越大性能越好
• 密集预测task要求输出像素的感受野足够的大，确保做出决策时没有忽略重要信息，一般也是越深越好
• 目标检测task中设置anchor要严格对应感受野，anchor太大或偏离感受野都会严重影响检测性能

增大感受野的方法

主要的方法是从增加网络的深度出发（这也是为什么神经网络在初期越深的网络模型效果越好的原因如VGG16等）

• pooling 池化
  池化主要任务是对数据降维，减小网络参数，提升网络的计算效率，同时，池化也是增加感受野的方法之一，但在增加感受野的同时，伴随着分辨率的降低，图像细节损失
• dilated conv空洞卷积
  空洞卷积的出现为了解决pooling层增大感受野之后进行上采样（增加图像的分辨率）过程中，图像信息缺失问题。

图(a)是普通卷积的运算看到的感受野大小，卷积后的每个像素能看到的卷积前图片的区域为3x3，图（b）可以当成是使用卷积核为7x7进行卷积运算，但其中只有标记为红色的9个点参与计算（dilated为2），能看到的感受野范围是7x7大小，同理图（c）可以当成是使用卷积核为15x15进行卷积运算，但其中只有标记为红色的9个点参与计算（dilated为4），能看到的感受野范围是15x15大小.
同时，注明一下几点：

• 空洞卷积与普通卷积相比，增加了感受野，但是不会增加需要训练的参数的量，因为，感受野增加范围内的其他像素点是选择性的跳过，能看得到，但是不需要计算。
• 是选择性的跳过了部分的像素值进行卷积计算，并不是增加padding，填充像素0的操作。