空洞卷积与反卷积

空洞卷积（dilated conv），也称扩张卷积。空洞卷积可以在kernel有效增大感受野的同时不增加模型参数或者计算量。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中，都能较好的应用空洞卷积。在图像分割，语音合成WaveNet，机器翻译ByteNet中都有空洞卷积的身影。

一般情况下，图片输入到网络中，网络将会对图像做卷积再池化（pooling）的操作，pooling的操作即降低了图像尺寸的同时增大感受野。但由于图像分割预测是pixel-wise的输出，所以将pooling后较小的图像上采样（upsampling）到原始的图像尺寸进行预测一般需要采用反卷积（deconv）操作。之前pooling一般为max pooling，所以该pooling操作使得每个pixel能预测都能看大较大感受野信息。

所以在图像分割网络中有两个关键点：
1、pooling减少图片的尺寸增大感受野
2、通过upsampling扩大图片尺寸。

由于在先减少再增大的过程中肯定会有一些信息损失，为了减少由pooling带来信息损失，所以就提出空洞卷积，他能不通过pooling来增大感受野。

在空洞卷积中有个重要的参数叫raterate，这个参数代表了空洞的大小。
要理解空洞概念和如何操作可以从两个角度去看
1）从原图角度，所谓空洞就是在原图上做采样。采样的频率是根据rate参数来设置的，当rate为1时候，就是原图不丢失任何信息采样，此时卷积操作就是标准的卷积