Multi-scale context aggregation by dilated convolutions
ICLR 2016
https://arxiv.org/abs/1511.07122
Code:
https://github.com/fyu/dilation
https://github.com/bordesf/dilation
针对语义分割问题 semantic segmentation,这里使用 dilated convolutions 得到multi-scale context 信息来提升分割效果。
dilated convolutions:
首先来看看膨胀卷积 dilated convolutions ,
图(a):就是一个常规的 3*3 卷积,1-dilated convolution 得到 F1, F1的每个位置的 receptive field 是 3×3
图(b): 在 F1的基础上,进行一个2-dilated convolution,注意它的点乘位置,不是相邻的3*3,得到了 F2,
F2的每个位置的 receptive field 是 7×7
图(c):在 F2的基础上,进行一个 4-dilated convolution,得到了 F3,
F3的每个位置的 receptive field 是 15×15
注意这里 dilated convolution 的参数数量是相同的,都是 3*3=9
Multi-scale context aggregation:
The basic context module has 7 layers that apply 3×3 convolutions with different dilation factors. The dilations are 1, 1, 2, 4, 8, 16, and 1。
这里主要通过不同的 different dilation factors 得到 multi-scale context。
注意这里的 context module 参数初始化是有讲究的。
FRONT END:
这里我们使用 VGG-16 network用于 dense prediction and removed the last two pooling and striding layers,后面应该是加上 context module