DeepLab_v3+:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

原创 2018年04月17日 01:01:27

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

谷歌出品的deeplabv3+,一般谷歌的论文都是实验做得好,比如mobile net系列的,毕竟人家的服务器多。

在图像语义分割中,ASPP(Spaital pyramid pooling)和 encoder decoder的结构是十分常见,前者可以encode 多尺度的context信息,后者可以获取物体的边界及空间信息。所以作者的想法是把它们两者结合起来看能不能work。

核心贡献:

1,在deeplab-v3的基础上加了一个decoder端来refine输出的结果。

2,用了Xception model并且在做ASPP的时候使用了depth-wise convolution(mobile net),以实现网络的加速。

文章首先对比了PSP net 和常见的Encoder和Decoder的架构,以及Deeplabv3+的结构。

可以看出Deeplabv3+是结合了两者的结构。


模型

整个模型结构如下图:


1,Deeplabv3 做为encoder,如文中所说,We use the last feature map before logits in the original DeepLabv3 as the encoder output in our proposed encoder-decoder structure.

它的output feature map是一个256维度的,可以包含很强的语义信息。ps:目前的大多是分割网络都是在使劲地把encoder 端做好,因为特征很重要,而很多decoder就是直接8倍上采样。

2,Decoder:

decoder端的操作相对简单把底层的特征经过1*1卷机concat到4倍upsample 层的后面,再经过一层卷积和上采样输出最终的预测结果。

3,修改版本的Xception版本,卷积时使用了depth wise convolution并且用stride=2的卷积代替了max pooling的操作。文章说这种做法可以使用带孔卷积,增大感受野,同时由于时depth wise 卷积又不会增加太多计算量。


实验

1,而在这篇工作中,作者采用了Xception 和 Resnet-101架构做为network的encdoer的骨架,大体上Xcetion的效果要比Resnet要好。

2,下采样16倍比下采样32倍的效果要好。

3,Imagenet pretrain, JFT dataset pretrain 的model(0.8%到1%的提升)达到了新的state of art


版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/lxt1994/article/details/79968947

DeepLab: Semantic Image Segmentation

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully C...
  • TonyYang1995
  • TonyYang1995
  • 2016-07-15 11:10:23
  • 4337

图像分割“Understanding Convolution for Semantic Segmentation”

预训练的模型:https://goo.gl/DQMeun在图像分割编码网络和解码网络,分别使用了两种方法改进,提升分割效果。在解码阶段,使用致密的上采样卷积(DUC)生成像素级预测,DUC可以捕获双线...
  • cv_family_z
  • cv_family_z
  • 2017-08-21 16:39:00
  • 604

Rethinking Atrous Convolution for Semantic Image Segmentation读书笔记

这次连续更新两篇,这篇是deeplab的作者又一新作。
  • u010213183
  • u010213183
  • 2017-07-04 15:28:55
  • 555

论文阅读《Rethinking Atrous Convolution for Semantic Image Segmentation》

Deeplab v31.Contribution:这篇论文和deeplab v2相比,contribution不多,主要是在原来的ASPP模块里面加入了bn,同时引入加入了global context...
  • yaoqi_isee
  • yaoqi_isee
  • 2017-07-12 16:44:10
  • 1409

[译]Rethinking Atrous Convolution for Semantic Image Segmentation

Abstract在本文中,我们重温一下Atrous Convolution的妙用,Atrous Convolution能在调整滤波器的感受野的的同时,解决DCNNs造成的分辨率降低的问题。同时,为了解...
  • qq_31802027
  • qq_31802027
  • 2017-07-06 17:50:52
  • 265

语义分割 - Semantic Segmentation Papers

Semantic Segmentation A Multi-Layer Approach to Superpixel-based Higher-order Conditional Random F...
  • oJiMoDeYe12345
  • oJiMoDeYe12345
  • 2017-05-23 14:54:16
  • 12387

[ICLR2017]Deep Biaffine Attention for Neural Dependency Parsing

依存树解析任务目前有两种做法,一是Transition-based approach, 另一种就是graph-based方法;针对每种方法文中给出了将一句话解析成依存书的具体实现步骤,本文的方法是用的...
  • u014221266
  • u014221266
  • 2017-09-07 09:23:39
  • 463

SegNet: a deep convolutional encoder-decoder architecture for robust semantic pixel-wise labelling

框架:SegNet, a deep convolutional encoder-decoder architecture 框架组成部分:A stack of encoders           ...
  • yihaizhiyan
  • yihaizhiyan
  • 2015-05-29 11:08:40
  • 2372

语义分割--Not All Pixels Are Equal:Difficulty-Aware Semantic Segmentation via Deep Layer Cascade

Not All Pixels Are Equal: Difficulty-Aware Semantic Segmentation via Deep Layer CascadeCVPR2017本文针对语...
  • zhangjunhit
  • zhangjunhit
  • 2017-05-18 10:08:44
  • 1860
收藏助手
不良信息举报
您举报文章:DeepLab_v3+:Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation
举报原因:
原因补充:

(最多只允许输入30个字)