DeepLab_v3+:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lxt1994/article/details/79968947

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

谷歌出品的deeplabv3+,一般谷歌的论文都是实验做得好,比如mobile net系列的,毕竟人家的服务器多。

在图像语义分割中,ASPP(Spaital pyramid pooling)和 encoder decoder的结构是十分常见,前者可以encode 多尺度的context信息,后者可以获取物体的边界及空间信息。所以作者的想法是把它们两者结合起来看能不能work。

核心贡献:

1,在deeplab-v3的基础上加了一个decoder端来refine输出的结果。

2,用了Xception model并且在做ASPP的时候使用了depth-wise convolution(mobile net),以实现网络的加速。

文章首先对比了PSP net 和常见的Encoder和Decoder的架构,以及Deeplabv3+的结构。

可以看出Deeplabv3+是结合了两者的结构。


模型

整个模型结构如下图:


1,Deeplabv3 做为encoder,如文中所说,We use the last feature map before logits in the original DeepLabv3 as the encoder output in our proposed encoder-decoder structure.

它的output feature map是一个256维度的,可以包含很强的语义信息。ps:目前的大多是分割网络都是在使劲地把encoder 端做好,因为特征很重要,而很多decoder就是直接8倍上采样。

2,Decoder:

decoder端的操作相对简单把底层的特征经过1*1卷机concat到4倍upsample 层的后面,再经过一层卷积和上采样输出最终的预测结果。

3,修改版本的Xception版本,卷积时使用了depth wise convolution并且用stride=2的卷积代替了max pooling的操作。文章说这种做法可以使用带孔卷积,增大感受野,同时由于时depth wise 卷积又不会增加太多计算量。


实验

1,而在这篇工作中,作者采用了Xception 和 Resnet-101架构做为network的encdoer的骨架,大体上Xcetion的效果要比Resnet要好。

2,下采样16倍比下采样32倍的效果要好。

3,Imagenet pretrain, JFT dataset pretrain 的model(0.8%到1%的提升)达到了新的state of art

PS:Deeplab 系列的,包括很多分割的论文都很难复现出作者提出的效果,作者在训练的时候使用的tricks 太多了,并且优化本身也具有随机性,google的服务器多,所以人家炼丹就厉害。

阅读更多

没有更多推荐了,返回首页