DeeplabV3+(2018)论文笔记

已于 2022-07-27 15:33:39 修改
阅读量1.4k 收藏 3
点赞数 1
文章标签： 深度学习 人工智能 计算机视觉
于 2022-07-27 14:57:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40632955/article/details/125976476
版权
本文介绍了Deeplabv3+模型，该模型在Deeplabv3基础上增加了decoder结构，使用空洞卷积获取多尺度信息，并通过改进的Xception作为backbone提高精度和效率。在PASCAL VOC2012和Cityscapes数据集上实现最优性能，分别达到89.0%和82.1%的精度。论文详细探讨了模型设计、实验选择及不同变体的性能比较。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation

文章目录

简介

  • 论文在deeplabv3的基础上添加了decoder结构，提出了deeplabv3+
    • deeplabv3中ASPP（空洞空间卷积金字塔）具有提取多尺度上下文信息（等效不同大小的感受野，卷积核参数量也不会增加）
    • 添加的decoder可以提取精细的目标边界
    • 空洞卷积可以提取backbone中任意分辨率的feature
  • 改进xception作为backbone，使用深度可分离卷积，提神精度，减少了参数量和计算量，

一、创新点

  • 提出了一个encoder-decoder的模型结构，即deeplabv3作为encoder，并添加一个简单的decoder
  • 使用的空洞卷积可以任意控制提取特征的分辨率，在权衡精度和运行时间时可做选择
  • 改进Xception，并将深度可分离卷积应用到ASPP和decoder模块中，提升了速度和精度
  • 模型在PASCAL VOC2012后和Cityscapes数据集上达到最优，分别为89.0% 和 82.1%
  • 分析了模型的设计选择和模型的变体

总结

  • 论文在实验精度上达到最优（PASCAL VOC2012和Cityscapes，89.0% 和 82.1%）
  • 进行了9组实验

二、论文链接

原文链接

[1802.02611] Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation (arxiv.org)

代码链接

pytorch-segmentation
deeplabplus-pytroch

论文投稿期刊

相关论文

[Xception] Xception:Deep learning with depthwise separable convolutions. In:CVPR2017 (arxiv.org)
[deeplabv3] Rethinking atrous convolutionfor semantic image segmentation(2017)(arxiv.org)
[PSPNet] Pyramid scene parsing network. In:CVPR2017

三、论文评价

  • 创新：该论文是在deeplabv3加了一点点改进（添加了decoder，改进xception作为backbone），精度提升了，综合各种模块的优势吧，创新不是很大。
  • 行文：
    • 改进小，所以论文一直在强调不同模块的优势和作用，将他们融合到模型中。
    • 在实验中体现融入模块后精确度的提升。
    • 论文模型细节的设计和实验选择描述得很详细（有decoder的设计，以及backbone的选择和改进）（在论文前面只是大致介绍层的作用，没有精确个数）

四、模型

  • deeplab模型融合了encoder-decoder结构，和SPP结构；
  • 在SPP上采用不同rate的空洞卷积变为ASPP
  • low-level feature是输入图像分辨率降维原来的1/4 ，即经历里了两个stride=2
  • 指定backbone最后输出的feature分辨率是用空洞卷积来控制的，一般output_stride选取16或8。
    -link：空洞卷积不改变分辨率，在其等效标准卷积的感受野大小时，stride和空洞rate的转化
    在这里插入图片描述
  • Image pooling： 全局平均池化 ----> 输出尺寸(1,1) ---->1*1卷积 改变通道---->上采样恢复成输入的尺寸
  • backbone提取的low-level feature 的channel 通过1*1卷积降维到48（经过试验表明，48最优）
  • 经过ASPP（每个部分通道将其降为256，共5个部分），cat为5 * 256，再经过通过1*1卷积降维到256
  • 两个feature cat之后，接上2个3*3卷积，输出channel都为256，然后接上1*1卷积，通道降维分类数
    在这里插入图片描述
  • 论文中描述了resnet101和改进的xception，使用改进的xception作为backbone效果好

五、实验

数据集

  • PASCAL VOC 2012
  • Cityscapes(50 类，包括了5000 张精准标注和20000 张粗略标注）
  • JFT-300M dataset
  • MS-COCO dataset

训练

学习率策略：poly
初始学习率：0.007

具体实验

实验1（选择low-level降维通道数）

实验2（deceder的细节设计精度比较）

在这里插入图片描述

实验3（model variants在voc上精确度和计算量的比较）

在这里插入图片描述

实验4 （backbone分类精度比较）

实验5（model variants在精确度和计算量上的比较，backbone为xception）

在这里插入图片描述

实验6 （在voc上与其他top模型的精度比较）

在这里插入图片描述

实验7（不同trimap width上精度的比较）

在这里插入图片描述

实验8 （model variants在Cityscapes上的精度比较）

实验9（在Cityscapes上与其他top模型的精度比较）

在这里插入图片描述

qq_40632955
关注
DeepLabv3+改进25:在主干网络中添加DGCST
AIcurator的博客
03-30 67
随着移动计算技术的迅速发展，在移动设备上部署高效的物体检测算法已成为计算机视觉领域的一个关键研究方向。本研究专注于优化 YOLOv7 算法，以提高其在移动平台上的运行效率和速度，同时确保高精度。通过结合诸如分组卷积、ShuffleNetV2 和视觉变换器等先进技术，本研究成功地减少了模型的参数数量和内存使用，简化了网络架构，并增强了在资源受限设备上的实时物体检测能力。实验结果表明，改进后的 YOLO 模型表现出色，在显著提高处理速度的同时保持了卓越的检测精度。
超详细DeepLabv3 介绍与使用指南 – 使用 PyTorch 推理
DT程序员的博客
10-05 2102
本文将探讨 DeepLabv3 的各个方面，并将涵盖以下内容：什么是 DeepLabv3？细分中面临的问题及解决方案。DeepLabv3的架构。什么是 DeepLabv3+？DeepLabv3+ 的架构更新。 使用 PyTorch 进行语义分割。
DeepLabv3+论文
m0_37799466的博客
12-12 9662
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation 原文地址：DeepLabv3+ 代码复现：TensorFlow 摘要：在深度神经网络中，空间金字塔池化模块或编码解码器结构都常被用于解决语义分割任务。前者的网络能够对多种采样率和多个感受野进行滤波和池化操作来探查传入特征，从而对多尺度上...
DeepLab v3 论文
04-30
DeepLab v3 - Rethinking Atrous Convolution for Semantic Image Segmentation 是语义分割相关的论文，效果不错。
DeepLab V3 论文笔记
Tianchao龙虾
08-16 335
Rethinking Atrous Convolution for Semantic Image Segmentation Deeplab v3 论文链接: https://arxiv.org/abs/1706.05587 一、 Problem Statement 图像语义分割有三个挑战: 下降的分辨率 目标的多尺度 localization的精度 对Deeplab V2进行改进。 提出了cascade和paralle的多尺度特征提取方法 消除了条件随机场CRF 二、 Direction Casc
论文：deeplab v3（语义分割）
cztAI的博客
06-27 629
用于密集特征提取的Atrous卷积 深度卷积神经网络(DCNNs)[50]以完全卷积的方式部署[77,60]已经证明在语义分割任务中是有效的。然而，在这些网络的连续层上，max-pooling和striding的重复组合显著降低了生成的特征图的空间分辨率，在最近的dcnn中，每个方向的分辨率通常为32倍[47,78,32]。反卷积层(或转置卷积)[92,60,64,3,71,68]被用来恢复空间分辨率。相反，我们提倡使用“atrous卷积”，它最初是在[36]的“算法’ atrous”方案中为有效计算非抽.
DeepLab v3+为啥可以封神？（论文讲解含超详细注解+中英文对照+配图）
RuixuanZhang的博客
10-27 3997
开始前，博主请求大家一定要看注解，博主的努力全在注解里，有帮助的记得一键三连呀！ Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation 基于空洞可分离卷积语义图像分割的编码-解码器（网络） Abstract Spatial pyramid pooling module or encode-decoder structure are used in deep neural networks .
【论文笔记-semantic segmentation】deeplabv3+
zhiwei2coder的博客
04-14 570
deeplab_v3+设计了一种新的encoder-decoder结构 encoder：deeplab_v3+使用deeplab_v3的结构作为encoder, encoding之后得到size = 1/16 input size的feature map decoder：以前的方法直接设计一个16倍的比linear upsampling layer作为decoder。在这里，我们首先对...
【语义分割系列：五】DeepLab v3 / v3+ 论文阅读翻译笔记
鹿鹿的博客
05-26 7447
DeepLab v3 2017 CVPR Rethinking Atrous Convolution for Semantic Image Segmentation ❤ fregu856/deeplabv3 ：PyTorch implementation of DeepLabV3, trained on the Cityscapes dataset. 官方开源 |Tensorflow Int...
使用 Keras 和 ArcGIS Pro 通过 Mask-RCNN/DeepLabV3+ 进行 EagleView 高分辨率图像语义分割
最新发布
gis收藏家的博客
03-12 1702
考虑到土地覆盖和建筑足迹的复杂性，这对于深度学习来说是一个相当小的数据集，因为如果你阅读教科书，通常会说深度学习需要大量的训练数据才能获得更好的性能。通过对图像的进一步检查和推断，我们可以看到建筑物阴影的影响会降低建筑物边缘的准确度。使用来自 ArcGIS 的相同训练数据集导出深度学习工具的训练数据，图像和掩模经过增强处理并保存到 HDF5 压缩文件中，以便方便地加载到训练模型（图 14）。使用相同的训练模型来预测 2019 年相同区域裁剪的图像，结果非常相似，只有微小的局部差异（图 20）。
[论文笔记]浅析DeepLab-v1到v3+全系列语义分割
专注“目标检测”领域技术分享
10-07 752
DeepLab-v1其实是最不重要的，因为一半的内容是FCN,而且CRF后处理起的作用重大。DeepLab-v2是重点中的重点，AFTP这个模块后面的引用率是非常非常高的DeepLab-v3和v3 plus 都是在v2基础上做了完善。空洞卷积。
DeepLab V3++ 论文笔记
Tianchao龙虾
08-17 492
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation DeepLab v3++ 论文链接: https://arxiv.org/abs/1802.02611 DeepLab v1 论文笔记 DeepLab v2 论文笔记 DeepLab v3 论文笔记 一、 Problem Statement 作者认为SPP结构可以有效的提取multi-scale contextual information，
论文：deeplab v3+（语义分割）
cztAI的博客
06-28 639
论文：https://arxiv.org/abs/1802.02611v1
改进 DeepLabV3+
热门推荐
m0_56247038的博客
10-03 1万+
SP、ASPP、DenseASPP以及各种解码器结构的实现
Deeplab v3+论文学习
Bungehurst
03-25 1468
Deeplab v3+论文学习 简介 空间金字塔池化或者encoder-decoder结构被广泛应用于语义分割网络。之前的网络可以通过池化操作和filter实现融合多尺度的上下文信息，而之后的网络可以提取锐利的物体边缘，在deeplab v3+中，结合了二者的优点，并且借鉴了Xception模型，将深度可分离卷积核空洞空间金字塔池化应用到我们的模型中，实现了更快更好的encoder-deco...
【读点论文】deeplabv3+ Encoder-Decoder with Atrous Separable Convolution
白水空空
10-28 982
Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation 深度神经网络采用空间金字塔池化模块或编解码结构进行语义分割。 空间金字塔池化模块 能够以多种速率和多个有效视场通过过滤器或池操作探测传入的特征来编码多尺度上下文信息 捕捉丰富的上下文信息,通过集中特性在不同的决议 编解码结构 可以通过逐渐恢复空间信息来捕获更清晰的目标边界 金字塔网络:精度高，但是计算量太大，所以运行时
《DeepLab v3+：Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》论文笔记
m_buddy的博客
06-01 747
1. 概述 导读：空间金字塔池化模块与编解码结构被广泛运用于DCNN网络的分割任务中。空间金字塔模块通过对输入的特征在多种比例与感受野上使用不同的filter或是池化操作，从而编码多尺度上下文信息；编解码结构可以通过逐步恢复的空间信息获取目标的边界。这篇文章提出的结构是DeepLab v3+，是在v3结构上添加一个解码模块，从而优化目标的边界。同时还引入了Xception模块，在ASPP模块与解...
deeplab_v3论文笔记
baidu_32173921的博客
01-26 2924
Deeplab-V3 Rethinking Atrous Convolution for Semantic Image Segmentation 摘要 DeeplabV1&V2 - 带孔卷积(atrous convolution), 能够明确地调整filters的接受野(field-of-view)，并决定DNN计算得到特征的分辨率；DeeplabV3 - 多尺度(multipl
论文阅读：DeeepLab V3+《Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation》
yuansiming0920的博客
07-24 703
ECCV 2018 论文链接：https://arxiv.org/pdf/1802.02611.pdf. 文章目录1 Background and Movtivation2 Related Work3 Advantages/Contributions4 Methods5 Experiments6 Conclusions 1 Background and Movtivation 语义分割给图像上的每个像素都分配一个语义标签，它是计算机视觉上最基础的话题之一。基于FCN的深度CNN在基准任务上实现了很好的性能.
裂缝 语义分割 注意力机制
08-12
近年来，裂缝检测在道路维护和安全评估中变得越来越重要。为了提高裂缝检测的准确性和效率，一些研究者提出了基于注意力机制的裂缝检测网络。这种网络采用编码器-解码器的结构，其中编码器使用ResNet34作为骨干网来提取裂缝特征。在编码器和解码器之间，引入了基于注意力机制的特征模块(attention-based feature module, AFM)，以利用全局信息并增加对不同尺度裂缝的鲁棒性，更好地提取和定位裂缝位置。而在解码器阶段，也引入了注意力机制，设计了基于注意力机制的解码模块(attention-based decoder module, ADM)，以实现对裂缝的准确定位。实验结果表明，这种注意力机制的裂缝检测网络在裂缝检测效果上更理想，裂缝的定位更准确，细节更丰富。在实验指标F1和重合率上，也都有明显的提升，证明了这种网络的有效性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [【文献阅读笔记】之基于注意力机制的深度学习路面裂缝检测](https://blog.csdn.net/qq_44785998/article/details/123992994)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [国庆假期看了一系列图像分割Unet、DeepLabv3+改进期刊论文，总结了一些改进创新的技巧](https://blog.csdn.net/qq_38668236/article/details/127187082)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值