空洞卷积(dilated conv),也称扩张卷积。空洞卷积可以在kernel有效增大感受野的同时不增加模型参数或者计算量。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中,都能较好的应用空洞卷积。在图像分割,语音合成WaveNet,机器翻译ByteNet中都有空洞卷积的身影。
一般情况下,图片输入到网络中,网络将会对图像做卷积再池化(pooling)的操作,pooling的操作即降低了图像尺寸的同时增大感受野。但由于图像分割预测是pixel-wise的输出,所以将pooling后较小的图像上采样(upsampling)到原始的图像尺寸进行预测一般需要采用反卷积(deconv)操作。之前pooling一般为max pooling,所以该pooling操作使得每个pixel能预测都能看大较大感受野信息。
所以在图像分割网络中有两个关键点:
1、pooling减少图片的尺寸增大感受野
2、通过upsampling扩大图片尺寸。
由于在先减少再增大的过程中肯定会有一些信息损失,为了减少由pooling带来信息损失,所以就提出空洞卷积,他能不通过pooling来增大感受野。
在空洞卷积中有个重要的参数叫raterate,这个参数代表了空洞的大小。
要理解空洞概念和如何操作可以从两个角度去看
1)从原图角度,所谓空洞就是在原图上做采样。采样的频率是根据rate参数来设置的,当rate为1时候,就是原图不丢失任何信息采样,此时卷积操作就是标准的卷积