【语义分割】——又快又强：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road

最新推荐文章于 2024-01-04 20:49:23 发布
最新推荐文章于 2024-01-04 20:49:23 发布
阅读量2.9k 收藏 12
点赞数 3
分类专栏： 深度学习 文章标签： 实时语义分割 语义分割 DDRNET
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011622208/article/details/112871860
版权

出处：哈尔滨工业大学
论文
code：暂未开源
关键词： 实时语义分割

在这里插入图片描述

语义分割是自动驾驶汽车了解周围场景的关键技术，对于实际的自动驾驶汽车来说，为了获得高精度的分割结果而花费大量的推理时间是不可取的。使用轻量级架构(编码器解码器或two-pathway)或推理在低分辨率图像。本文提出的模型在单张2080ti上DDRNet-slim能打到77.4% mIoU和230FPS，DDRNet-39能打到80.4% mIoU 和 23FPS

1. 简介

  • 提出了一种新的深度双分辨率双边网络用于实时语义分割。
  • 设计了一个新的模块，通过将特征聚合与金字塔池相结合来获取丰富的上下文信息。当它与低分辨率的特征映射集成时，推理时间几乎没有增加。

2. 相关工作

2.1 实时语义
实时语义分割主要从两个方面优化模型结构：1. 编码器-解码器结构； 2. 双通道结果（可以避免decoder时上采样操作带来的特征无法恢复问题）
在这里插入图片描述

3. 模型

文章借鉴了HRNet，重新设计了一个双分辨率的主干网络，并在ImageNet上重新训练。同时为了满足实时性的要求，网络是在resnet18，resnet34上修改而来。
3.1 主干网络
在这里插入图片描述
3.2 语义分割网络

  • 整体网络
    在这里插入图片描述

  • DAPPM上下文捕捉模块：更多尺度特征的融合
    基于pspnet的特征金字塔池化和res2net，提出了一个DAPPM模块，用捕捉高层语义的上下文信息
    在这里插入图片描述

  • 深度监督：多个分支辅助监督学习
    采用了pspnet中的deepsup思路，

4. 实验

不能说是最soa，但是速度是真的快
在这里插入图片描述
和start-of-art的比较
在这里插入图片描述
PPM 和 DAPPM 的比较
在这里插入图片描述
DDRNet和HRNetv2-w18 推理速度的比较
在这里插入图片描述

5. 总结

  • DDRNet感觉是HRNet的一个简化，相当于只有两个分辨率，但是效果更好，归咎于resnet18的残差链接吗？
  • DAPPM上下文特征模块，比PPM尺度更多，
  • 这和SFNet一样，从resnet18出发来做实时语义分割backone。但是效果和精度确实比pspnet-resnet50还好。难道论文的改进点确实有效？？？
农夫山泉2号
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
常见的语义分割网络架构：FCNUNetSegNet等
禅与计算机程序设计艺术
05-31 606
1.背景介绍 语义分割是计算机视觉中的一项重要技术，它的目标是将图像分割成多个区域，每个区域代表一个特定的类别。在过去的几年中，深度学习已经在语义分割领域取得了显著的进步。本文将介绍几种常见的语义分割网络架构：全卷积网络（FCN）、U-Net、SegNet等，这些网络架构在许多应用中都取得了很好的效果。 2.
实时语义分割网络DDRNet项目
10-02
实时语义分割网络DDRNet项目工程，已调试成功，运行结果展示如下 2022-05-05 07:35:32,001 Loss: 0.457, MeanIU: 0.7796, Best_mIoU: 0.7802 2022-05-05 07:35:32,001 [0.98194617 0.85180647 0.92407255 0.58784785 0.59236745 0.64585143 0.69415029 0.76973187 0.92413451 0.6401672 0.94537195 0.81574417 0.63227908 0.94934242 0.80143391 0.87566783 0.7885714 0.63113426 0.76087927] 2022-05-05 07:35:32,174 Hours: 41 2022-05-05 07:35:32,174 Done
Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes
写个翻译的博客
05-23 1041
DDRNet：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes 作者：Y uanduo Hong, Huihui Pan, Weichao Sun, Senior Member , IEEE, Yisong Jia 时间：2021 摘要  对于实时语义分割，用推理速度置换精度是不可取的。一些方法使用轻量级架构(编解码器或双通道)或在低分辨率图像上进行推理，达到了不错的效果
【论文详解】Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes
weixin_43728604的博客
04-12 2986
基于HRNet，本文提出一种新的深度双分辨率网络（deep dual resolution network，简称DDRNet）。DDRNet有两个并行的分支，深度分支用来获得高分辨率的特征表示，语义分支用来提取丰富的语义信息。
Deep Dual-resolution Networks for Real-time andAccurate Semantic Segmentation of Road Scenes
baidu_34172099的博客
12-21 431
重点：卷积网络从输入到输出，会经过多个下采样层（一般为5个，输出原图1/32的特征图），从而逐步扩大视野获取高层语义特征，高层语义特征靠近输出端但分辨率低，高分率特征靠近输入端但语义层次低。 语义分割是一项需要将输入图像的每个像素分配给相应的标签 的基本任务。Deeplab减少了ReNet中一些下采样操作以获取高分辨率， 并利用利用空洞卷积来获取更大的感受野。（感受野（Receptive Field），指的是神经网络中神经元“看到的”输入区域，在卷积神经网络中，feature ma...
【论文阅读--实时语义分割】DDRNet：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation
magic_ll的博客
03-03 6911
用于道路场景实时准确语义分割的深度双分辨率网络 摘要 语义分割是自动驾驶汽车理解周围场景的关键技术。现代模型的吸引力表现通常是以繁重的计算和漫长的推理时间为代价的，这对于自动驾驶来说是无法忍受的。使用轻量级架构（编码器-解码器或双通道）或对低分辨率图像进行推理，最近的方法实现了非常快速的场景解析，甚至在单个1080Ti GPU上以超过100fps的速度运行。然而，这些实时方法与基于dilation backbones的模型在性能上仍有很大差距。为了解决这个问题，我们提出了一系列专门为实时语义分割设计的高效主
On-Manifold Preintegration for Real-Time Visual-Inertial Odometry.pdf
04-06
Abstract: Current approaches for visual-inertial odometry (VIO) are able to attain highly accurate state estimation via nonlinear optimization. However, real-time optimization quickly becomes ...
WDSR-Wide Activation for Efficient and Accurate Image Super-Resolution 论文代码
12-25
本文提到的“WDSR-Wide Activation for Efficient and Accurate Image Super-Resolution”是由Yuan et al.提出的，它是一种高效的深度学习模型，专门用于图像超分辨率任务。WDSR（Wide Dense Super-Resolution）模型...
Rapid-flooding Time Synchronization for Large-scale Wireless Sensor Networks
02-11
Accurate and fast-convergent time synchronization is very important for wireless sensor networks. The flooding time synchronization converges fast, but its transmission delay and by-hop error ...
Accurate-Binary-Convolution-Network:二进制卷积网络，可在ASIC中更快地进行实时处理
05-13
林小凡，丛聪，潘玮等人的 Networks的Tensorflow实现。 为什么要这个网络？ 让我们引用作者 众所周知，使用二进制权重和激活会极大地减少内存大小和访问，并可以用更高效的按位运算代替算术运算，从而导致更快的测试...
【语义分割】——多层特征的融合
怡宝2号
11-18 3812
转载自：语义分割－多层特征融合 尊重原创，请读原文 语义分割，也称为像素级分类问题，其输出和输入分辨率相同（如题图中，左边为2048x1024分辨率的Cityscapes街景图像，输入模型，得到右边同样分辨率的语义图）。由此，语义分割具有两大需求，即高分辨率和高层语义，而这两个需求和卷积网络设计是矛盾的。 卷积网络从输入到输出，会经过多个下采样层（一般为5个，输出原图1/32的特征图），从而逐步扩大视野获取高层语义特征，高层语义特征靠近输出端但分辨率低，高分率特征靠近输入端但语义层次低。高层特征和底层特征.
Deep Dual-resolution Network 原理与代码解析
00000cj的博客
09-28 413
本文的创新点主要是设计了一个新的网络Deep Dual-resolution Network, DDRNet和一个Deep Aggregation Pyramid Pooling Module, DAPPM。在DDRNet中，包含一个high-resolution的spatial分支和一个low-resolution的context分支，作者设计了一种新的bilateral fusion来更好的融合两个分支的信息，具体包括high-to-low fusion和low-to-high fusion。在DAPP
语义分割论文阅读：FCN、PSPNet、DDRNet、BiseNet、BiseNetV2、deeplabv3
weixin_44645198的博客
11-07 2310
FCN网络 主要思想：使用卷积层替换到全连接层，以voc数据集、backbone为VGG16为例，最后的全连接层替换为卷积层，通道数为21（voc20类+背景），接着进行上采样为输入尺寸大小，对每一个像素点（21个特征图）进行softmax操作，确定该像素点所属类别。 ...
论文阅读: 2002.SFNet
JNing
09-06 733
2002.10120：Semantic Flow for Fast and Accurate Scene Parsing 创新点 FAM（Flow Alignment Module，流对齐模块）。 受光流的启发，提出一种语义流对齐的方法，可以解决在使用双线性插值进行上采样时所出现的对不齐问题。 低分辨率的高级特征图上的语义信息很好地流向了高分辨率的低级特征图中。 通过丢弃空洞卷积来减少计算开销并利用流对齐模块来丰富低层特征的语义表示，使网络能够在语义分割精度和运行时间效率之间实现了最佳的
【特征对齐】——sfnet分割网络中的特征对齐比较
怡宝2号
07-07 1165
对比了精确的光流，可变性卷积DCN，可学习的光流，从指标来看，可学习的光流是效果最好的。
论文阅读：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation of Road Scenes
weixin_43572595的博客
04-12 330
论文地址：http://arxiv.org/abs/2101.06085 摘要 语义分割是自动驾驶汽车了解周围场景的一项关键技术。 对于实际的自动驾驶车辆，不希望花费大量的推理时间来获得高精度的分割结果。 使用轻量级架构（编码器-解码器或两条路径）或对低分辨率图像进行推理，最近的方法实现了非常快速的场景解析，甚至在单个1080Ti GPU上以超过100 FPS的速度运行。 但是，这些实时方法和基于膨胀主干的模型之间在性能上仍存在明显差距。 为了解决这个问题，我们提出了新颖的深度双分辨率网络（DDRNet），
实时语义分割学习笔记05 SFNet
最新发布
m0_52679259的博客
01-04 1150
作者认为，虽然空洞卷积能够很好的保持空间细节。但是，不可避免地需要密集的额外计算，因为最后几层的特征图可以达到FCN中的特征图的64倍。如：ResNet-18作为骨干网络的FCN对于1024 × 2048图像的帧速率为57.2 FPS，在对网络应用atrous卷积后，修改后的网络仅具有8.7 FPS的帧速率。a. 当时的一些解决办法，设计一个网络结构，类似于 FPN，其中包含横向路径（lateral connections），以便从深层特征图传播信息到浅层特征图。
干货！在语义分割任务中学习统计化纹理
AITIME_HY的博客
09-29 848
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！# 今日视推荐 #现有语义分割研究主要关注高层次语义特征的提取，（例如通过各类注意力模型提取全局的上下文信息），对低层次特征提取方...
超强语义分割算法！基于语义流的快速而准确的场景解析
我爱计算机视觉
03-28 2773
论文地址：https://arxiv.org/abs/2002.10120代码地址：https://github.com/donnyyou/torchcv该论文提出了一种有效且快速的场景...
Region-Based Convolutional Networks for Accurate Object Detection and Segmentation复现
07-14
你好！对于 "Region-Based Convolutional Networks for Accurate Object Detection and Segmentation" 这篇论文的复现，我可以给你一些指导。该论文介绍了一种基于区域的卷积神经网络方法，用于准确的物体检测和分割。 首先，你需要了解论文中提出的方法的核心思想和技术细节。然后，你可以按照论文中描述的步骤进行复现。以下是一些可能的步骤： 1. 数据集准备：根据论文中使用的数据集，你需要获取相应的训练集和测试集数据。确保数据集包含物体检测和分割的标注信息。 2. 模型架构：根据论文中描述的模型架构，你可以使用深度学习框架（如TensorFlow、PyTorch等）来构建模型。确保按照论文中提到的网络层次结构、连接方式和参数设置来构建模型。 3. 损失函数：根据论文中提到的损失函数，你可以实现相应的损失函数来衡量检测和分割任务的性能。 4. 训练过程：使用训练集数据对模型进行训练。根据论文中提到的训练策略和超参数设置，你可以使用反向传播算法来更新模型的权重。 5. 测试过程：使用测试集数据对训练好的模型进行测试。评估模型在物体检测和分割任务上的性能，并与论文中的结果进行比较。 请注意，由于论文可能没有提供完整的代码实现，你可能需要根据论文的描述进行一定的调整和优化。 希望这些步骤能为你复现该论文提供一些帮助！如果你有任何进一步的问题，欢迎继续提问。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值