Dilated Conv and Deformable Conv. 空洞卷积和可变形卷积

空洞卷积论文地址：https://arxiv.org/pdf/1511.07122.pdf
可变形卷积论文地址：https://arxiv.org/pdf/1703.06211.pdf
之前一直知道这两个方法，一直没时间看论文和实现。
后面碰到越来越多这两个知识点，所以记录一下原理。

图像分割的一般流程是先通过pooling或者stride=2的卷积进行下采样得到较小的feature map，得到感受野较大的特征，但是由于图像分割预测是逐像素的输出，所以要将之前较小的feature map再做upsampling上采样，得到原始图像尺寸，再进行逐个像素的预测。

但是不管是avg还是max pooling，在下采样过程中都会损失不少信息，即使将两者结合起来，也难以避免。所以有人提出是否真的需要下采样层？

基于上述疑问，有人提出了空洞卷积Dilated conv，空洞卷积支持感受野指数级增长，同时不会损失图像信息。

有人会说，我们单纯提高卷积核大小，也能够增加感受野大小，但是那样的话，计算量和参数量也会变大。
我们直观看看普通conv和dilated conv。
下图是kernel size=3，stride=2 padding=1的卷积示意图。输入map大小是5，输出是3x3

下图是kernel size=3，stride=1，dilate rate=2，输入map=7x7，输出map=3x3 .
主要区别就是标准的卷积操作中，卷积核的元素之间都是相邻的。但是，在空洞卷积中，卷积核的元素是间隔的，间隔的大小取决于空洞率。

扩张卷积与普通的卷积相比，除了卷积核的大小以外，还有一个扩张率(dilation rate)参数，主要用来表示扩张的大小。扩张卷积与普通卷积的相同点在于，卷积核的大小是一样的，在神经网络中即参数数量不变，区别在于扩张卷积具有更大的感受野。

扩展卷积在保持参数个数不变的情况下增大了卷积核的感受野，同时它可以保证输出的特征映射（feature map）的大小保持不变。一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，但参数数量仅为9个，是5×5卷积参数数量的36%。

dilated的好处是不做pooling损失信息的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中，都能很好的应用dilated conv。

Deconv和Dilated conv的区别：

deconv的其中一个用途是做upsampling，即增大图像尺寸。而dilated conv并不是做upsampling，而是增大感受野。