【语义分割】——又快又强：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road

最新推荐文章于 2022-07-26 22:20:28 发布
最新推荐文章于 2022-07-26 22:20:28 发布
阅读量2.9k 收藏 12
点赞数 3
分类专栏： 深度学习 文章标签： 实时语义分割 语义分割 DDRNET
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011622208/article/details/112871860
版权

出处：哈尔滨工业大学
论文
code：暂未开源
关键词： 实时语义分割

在这里插入图片描述

语义分割是自动驾驶汽车了解周围场景的关键技术，对于实际的自动驾驶汽车来说，为了获得高精度的分割结果而花费大量的推理时间是不可取的。使用轻量级架构(编码器解码器或two-pathway)或推理在低分辨率图像。本文提出的模型在单张2080ti上DDRNet-slim能打到77.4% mIoU和230FPS，DDRNet-39能打到80.4% mIoU 和 23FPS

1. 简介

  • 提出了一种新的深度双分辨率双边网络用于实时语义分割。
  • 设计了一个新的模块，通过将特征聚合与金字塔池相结合来获取丰富的上下文信息。当它与低分辨率的特征映射集成时，推理时间几乎没有增加。

2. 相关工作

2.1 实时语义
实时语义分割主要从两个方面优化模型结构：1. 编码器-解码器结构； 2. 双通道结果（可以避免decoder时上采样操作带来的特征无法恢复问题）
在这里插入图片描述

3. 模型

文章借鉴了HRNet，重新设计了一个双分辨率的主干网络，并在ImageNet上重新训练。同时为了满足实时性的要求，网络是在resnet18，resnet34上修改而来。
3.1 主干网络
在这里插入图片描述
3.2 语义分割网络

  • 整体网络
    在这里插入图片描述

  • DAPPM上下文捕捉模块：更多尺度特征的融合
    基于pspnet的特征金字塔池化和res2net，提出了一个DAPPM模块，用捕捉高层语义的上下文信息
    在这里插入图片描述

  • 深度监督：多个分支辅助监督学习
    采用了pspnet中的deepsup思路，

4. 实验

不能说是最soa，但是速度是真的快
在这里插入图片描述
和start-of-art的比较
在这里插入图片描述
PPM 和 DAPPM 的比较
在这里插入图片描述
DDRNet和HRNetv2-w18 推理速度的比较
在这里插入图片描述

5. 总结

  • DDRNet感觉是HRNet的一个简化，相当于只有两个分辨率，但是效果更好，归咎于resnet18的残差链接吗？
  • DAPPM上下文特征模块，比PPM尺度更多，
  • 这和SFNet一样，从resnet18出发来做实时语义分割backone。但是效果和精度确实比pspnet-resnet50还好。难道论文的改进点确实有效？？？
农夫山泉2号
关注
专栏目录
Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes
写个翻译的博客
05-23 1144
DDRNet：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes 作者：Y uanduo Hong, Huihui Pan, Weichao Sun, Senior Member , IEEE, Yisong Jia 时间：2021 摘要  对于实时语义分割，用推理速度置换精度是不可取的。一些方法使用轻量级架构(编解码器或双通道)或在低分辨率图像上进行推理，达到了不错的效果
英语 语义分割_语义分割 Learning Deconvolution Network for Semantic Segmentation
weixin_39644377的博客
12-22 369
论文链接题目Learning Deconvolution Network for Semantic Segmentation摘要作者Hyeonwoo Noh 通过学习反卷积deconvolution network后提出一种新的语义分割算法。作者在VGG-16卷积层上学习网络，并指出deconvolution network是由de-convolution和unpooling layers组成，可...
【论文详解】Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes
weixin_43728604的博客
04-12 3154
基于HRNet，本文提出一种新的深度双分辨率网络（deep dual resolution network，简称DDRNet）。DDRNet有两个并行的分支，深度分支用来获得高分辨率的特征表示，语义分支用来提取丰富的语义信息。
Deep Dual-resolution Networks for Real-time andAccurate Semantic Segmentation of Road Scenes
baidu_34172099的博客
12-21 459
重点：卷积网络从输入到输出，会经过多个下采样层（一般为5个，输出原图1/32的特征图），从而逐步扩大视野获取高层语义特征，高层语义特征靠近输出端但分辨率低，高分率特征靠近输入端但语义层次低。 语义分割是一项需要将输入图像的每个像素分配给相应的标签 的基本任务。Deeplab减少了ReNet中一些下采样操作以获取高分辨率， 并利用利用空洞卷积来获取更大的感受野。（感受野（Receptive Field），指的是神经网络中神经元“看到的”输入区域，在卷积神经网络中，feature ma...
【论文阅读--实时语义分割】DDRNet：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation
magic_ll的博客
03-03 7302
用于道路场景实时准确语义分割的深度双分辨率网络 摘要 语义分割是自动驾驶汽车理解周围场景的关键技术。现代模型的吸引力表现通常是以繁重的计算和漫长的推理时间为代价的，这对于自动驾驶来说是无法忍受的。使用轻量级架构（编码器-解码器或双通道）或对低分辨率图像进行推理，最近的方法实现了非常快速的场景解析，甚至在单个1080Ti GPU上以超过100fps的速度运行。然而，这些实时方法与基于dilation backbones的模型在性能上仍有很大差距。为了解决这个问题，我们提出了一系列专门为实时语义分割设计的高效主
论文阅读：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes
weixin_43572595的博客
04-12 356
论文地址：http://arxiv.org/abs/2101.06085 摘要 语义分割是自动驾驶汽车了解周围场景的一项关键技术。 对于实际的自动驾驶车辆，不希望花费大量的推理时间来获得高精度的分割结果。 使用轻量级架构（编码器-解码器或两条路径）或对低分辨率图像进行推理，最近的方法实现了非常快速的场景解析，甚至在单个1080Ti GPU上以超过100 FPS的速度运行。 但是，这些实时方法和基于膨胀主干的模型之间在性能上仍存在明显差距。 为了解决这个问题，我们提出了新颖的深度双分辨率网络（DDRNet），
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8744
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
热门推荐
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
整理研究方向（1）【未完成】
qq_35780315的博客
07-26 2287
整理从交通流量预测发展到其他方向的团队文章，并研究调研我们可以研究的方向
实时语义分割网络DDRNet项目
10-02
实时语义分割网络DDRNet项目工程，已调试成功，运行结果展示如下 2022-05-05 07:35:32,001 Loss: 0.457, MeanIU: 0.7796, Best_mIoU: 0.7802 2022-05-05 07:35:32,001 [0.98194617 0.85180647 0.92407255 0.58784785 0.59236745 0.64585143 0.69415029 0.76973187 0.92413451 0.6401672 0.94537195 0.81574417 0.63227908 0.94934242 0.80143391 0.87566783 0.7885714 0.63113426 0.76087927] 2022-05-05 07:35:32,174 Hours: 41 2022-05-05 07:35:32,174 Done
Dual-Resolution Correspondence Networks 2020
u010260681的博客
04-26 821
核心思想：使用4D 卷积运算获取dense的匹配 pipeline： 解释：输入为两张image，输出为dense的特征匹配。算法共分为三部分，分别是：特征提取模块、4d卷积模块、coarse和fine融合模块 1> 特征提取模块。 输入两张image，然后使用经典的cnn提取多个分辨率的feature map层次，将高分辨率的feature map称为fine feature，将低分辨率的 feature map称为coarse feature，由于...
《DFANet: Deep Feature Aggregation for Real-Time Semantic Segmentation》翻译（上）
u010949998的博客
04-25 4989
边更新边学习ing Abstract This paper introduces an extremely efficient CNN architecture named DFANet for semantic segmentation under resource constraints. Our proposed network starts from a single lightwei...
语义分割速览
hey-yahei
02-12 1289
语义分割速览 原文链接：https://www.yuque.com/yahei/hey-yahei/segmentation 简单过一下语义分割的主流框架——FCN、UNet、SegNet、PSPNet、DeepLab 分割任务论文集与各方实现：https://github.com/mrgloom/awesome-semantic-segmentationpytorch model zoo：ht...
语义分割算法性能比较_自动驾驶领域：一种实时高精度的城市道路场景语义分割方法...
weixin_39727005的博客
11-22 372
作者：Danny明泽来源：3D视觉工坊公众号链接：自动驾驶领域：一种实时高精度的城市道路场景语义分割方法论文下载：https://arxiv.org/pdf/2003.08736.pdf简介：近年来，深度卷积神经网络(DCNNs)在语义图像分割方面表现出了优异的性能。然而，由于使用复杂的网络架构，基于DCNN的语义分割方法往往存在计算复杂度高的问题。这极大地限制了在实时处理的真实场景中的应用。本文...
【论文阅读】Cross-Resolution Adversarial Dual Network for Person Re-Identification and Beyond
weixin_43169773的博客
08-30 529
考虑到真实场景中摄像机和目标人之间距离不同可能会带来 分辨率不匹配 的情况，会降低行人重识别算法的表现。 这篇论文提出了一种的新的生成对抗网络来解决跨分辨率的行人重识别，可以学习分辨率不变的图像表示，同时能恢复低分辨率输入图像丢失的细节，共同用于改善重识别的性能。 在五个标准行人重识别基准上的实验结果证实了该方法的有效性，尤其是在训练过程中不知道输入分辨率的情况下。 此外，两个车辆重识别基准测试的实验结果也证实了该模型在交叉分辨率视觉任务上的通用性。 从低分辨率到高分辨率，一般情况下的想法 本文的创新： 摘
语义分割算法性能比较_显著提升图像语义分割性能，滴滴携伯克利提出多源对抗域聚合网络...
weixin_39854326的博客
11-22 570
机器之心发布机器之心编辑部在深度学习的发展过程中，领域自适应和知识迁移受到越来越多研究者的关注。他们希望一个领域数据集中学习的知识可以迁移到新的领域中。针对这一目的，滴滴和加州大学伯克利分校的研究者提出一种新的多源领域自适应模型，该模型能够同时利用和学习多个不同源域的训练样本，进而显著提升了图像语义分割的性能。随着深度学习的发展，研究者们希望深度学习模型不但可以从特定领域训练集中学习监督知识，更希...
语义分割——swiftnet
kissedbywater的博客
03-17 2039
文章目录In Defense of Pre-trained ImageNet Architectures for Real-time Semantic Segmentation of Road-driving Images一、所针对的问题二、思路三、Basic building blocks3.1 Recognition encoder3.2 Upsampling decoder四、 Module...
超强语义分割算法！基于语义流的快速而准确的场景解析
我爱计算机视觉
03-28 2796
论文地址：https://arxiv.org/abs/2002.10120代码地址：https://github.com/donnyyou/torchcv该论文提出了一种有效且快速的场景...
Region-Based Convolutional Networks for Accurate Object Detection and Segmentation复现
最新发布
07-14
对于 "Region-Based Convolutional Networks for Accurate Object Detection and Segmentation" 这篇论文的复现，我可以给你一些指导。该论文介绍了一种基于区域的卷积神经网络方法，用于准确的物体检测和分割。 ...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值