[论文笔记]DDRNet

最新推荐文章于 2024-09-26 07:38:28 发布
最新推荐文章于 2024-09-26 07:38:28 发布
阅读量2.5k 收藏 9
点赞数 2
分类专栏： Segmentation 文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lxp_CC/article/details/124798428
版权

Abstract

  • DDRNet由两个深度分支组成，在这两个分支之间执行多次双边融合

  • 上下文提取器Deep Aggregation Pyramid Pooling Module (DAPPM)扩大有效感受域，并基于低分辨率特征映射融合多尺度上下文

  • 精度高且轻量

Introduction

  • Bisenet提出了一种由空间路径和上下文路径组成的新型双边网络，空间路径利用三个相对较宽的3×3卷积层来捕获空间细节，上下文路径是一个小型的预训练backbone，用于提取上下文信息

    • 这种双边网络相对于encoder-decoder结构来说推理速度更快

  • DDRNet

    • 从一个主干开始，然后分离成两个并行的分支

      • 一个分支生成高分辨率特征图

      • 一个分支通过多次下采样提取高级语义信息

    • 两个分支之间进行多次双边连接，实现高效信息融合

    • 提出了一个DAPPM的新模块，该模块将特征聚合与金字塔池化相结合，输入低分辨率特征图，提取多尺度上下文信息，并以级联方式合并上下文信息

Related work

High-performance Semantic Segmentation

  • DeepLabv3+提出了一种简单的解码器，将上采样特征映射与低级别特征映射相融合,减轻了对直接从扩展卷积生成的高分辨率特征图的要求

  • HRNet强调了深度高分辨率表示，反映了比膨胀主干更高的效率，并且由于高分辨率信息通道数较小，计算效率和推理速度更高

Real-time Semantic Segmentation

  • 大部分实时方法都是基于两种结构

    • encoder-decoder结构

    • 二分支结构

Encoder-decoder Architecture

  • encoder一般是一个包含重复下采样的深度网络，可以提取上下文信息，decoder通过插值法或反卷积将特征图的分辨率恢复，与基于扩张卷积的方法相比节省了计算开销

  • SwiftNet保留了ImageNet上预训练encoder的优势，并利用轻型横向连接来帮助进行上采样

  • FANet通过快速注意模块和额外下采样，在速度和准确性之间实现了良好平衡

  • SFNet设计了一个Flow Alignment Module（FAM），用于对齐相邻层的特征图，以实现更好的融合

Two-pathway Architecture

  • encoder-decoder结构虽然减少了计算开销，但是由于多次下采样，导致空间细节信息丢失，并且无法通过上采样完全恢复

  • 二分支包含一条提取语义信息的路径，一条高分辨率的浅层路径提供了丰富的空间细节作为补充

  • BiSeNetV2两个分支从一开始就分离，使用全局平均池化进行上下文嵌入，并提出了基于注意的特征融合

Lightweight Encoders

  • MobileNet将标准卷积替换为深度可分离卷积，以减少参数和计算量

  • ShuffleNet利用分组卷积的紧凑性，提出了一种channel shuffle操作，促进不同组之间的信息融合

Context Extraction Modules

  • Atrous Spatial Pyramid Pooling (ASPP)由具有不同扩张率的扩张卷积并行组成，可以处理多尺度上下文信息

  • PSPNet中的Pyramid Pooling Module（PPM）通过在卷积层之前实现池化，在计算效率上比ASPP更高

  • Dual Attention Network（DANet）利用位置注意和通道注意进一步改善特征表示

  • Object Context Network (OCNet)使用自注意机制来捕获物体上下文信息

Method

Deep Dual-resolution Network

  • backbone结构

     

  • 其中详细结构配置如下

     

  • 双边融合包括高分辨率融合到低分辨率和低分辨率融合到高分辨率

    • 高分辨率融合到低分辨率前通过一个conv3x3 stride 2的序列下采样并扩展通道，然后通过逐像素相加融合

    • 低分辨率融合到高分辨率前通过conv1x1压缩通道，然后通过双线性插值上采样再逐像素相加融合

       

Deep Aggregation Pyramid Pooling Module

  • 用单个conv3x3或conv1x1来融合所有多尺度上下文信息是不合理的

     

  • DAPPM首先将下采样后的特征图进行上采样，然后通过多个conv3x3以分层残差方式融合不同尺度的上下文信息，最后拼接所有特征图并使用conv1x1压缩通道

  • 侧边还增加了conv1x1特征映射，便于优化

  • DAPPM虽然卷积层多，但是由于是在1/64的分辨率上执行，并不会影响推理速度

Overall Architecture for Semantic Segmentation

 

Deep Supervision

  • 训练阶段的额外监督可以简化深度CNN的优化

  • 最终loss是交叉熵loss的加权和

    • Lf为final loss，Ln为正常交叉熵，Lα为辅助交叉熵，α为辅助损失的权重

Conclusion

  • 一个新的深度双分辨率网络作为实时语义分割的有效backbone

  • 一个新的上下文提取器DAPPM

  • 首次将深度高分辨率表示应用到实时分割

  • DDRNets主要由residual basic blocks和bottleneck blocks组成，通过缩放模型宽度和深度，提供了广泛的速度和精度权衡

Meliodas`
关注
专栏目录
ddrnet 分割学习笔记
jacke121的专栏
11-15 925
ddrnet 分割学习笔记
DDRNet:正式实现“深度双分辨率网络，实时，准确地对道路场景进行语义分割”
05-15
正式实现“深度双分辨率网络，实时，准确地对道路场景进行语义分割” 在不使用推理加速（例如tensorRT）和额外数据（例如Mapillary）的情况下，在城市景观和camvid上实现精度和速度之间的最新权衡！ 我们方法的整体架构。 “深度聚合金字塔合并模块（DAPPM）”的详细信息。 用法 当前，此存储库包含用于分类和语义分段的模型代码和预训练模型。 您可以参考或直接使用在本地训练和测试我们的模型。 感谢他们的工作！ 我们稍后将发布整个火车和测试代码。 注意 您应该采用一些基本的训练技巧来重现我们的结果，包括班级平衡样本，ohem，作物大小为1024x1024。 可以在找到更多详细信息。 相同模型的Cityscapes val结果通常会有一些差异，可能约为1％mIoU。 如果您想直接使用我们的预训练模型进行评估，请在所有位置保持“ align_corners = False”。
【论文阅读--实时语义分割】DDRNet：Deep Dual-resolution Networks for Real-time and Accurate Semantic Segmentation
magic_ll的博客
03-03 7644
用于道路场景实时准确语义分割的深度双分辨率网络 摘要 语义分割是自动驾驶汽车理解周围场景的关键技术。现代模型的吸引力表现通常是以繁重的计算和漫长的推理时间为代价的，这对于自动驾驶来说是无法忍受的。使用轻量级架构（编码器-解码器或双通道）或对低分辨率图像进行推理，最近的方法实现了非常快速的场景解析，甚至在单个1080Ti GPU上以超过100fps的速度运行。然而，这些实时方法与基于dilation backbones的模型在性能上仍有很大差距。为了解决这个问题，我们提出了一系列专门为实时语义分割设计的高效主
DDRNet 项目使用教程
最新发布
gitblog_00323的博客
09-26 620
DDRNet 项目使用教程 DDRNet Depth Map Denoising and Refinement for Consumer Depth Cameras Using Cascaded CNNs (ECCV 2018) ...
论文阅读-语义分割(2021)-DDRNet:用于实时道路场景精准分割的深度冗余分辨率网络
kevin_zhao_zl的博客
04-11 1496
DDRNet用于道路场景的实时分割模型，模型基本流程如下图所示，网络经过一个主干模块后分为两个具有不同分辨率的平行分支，一个分支保持较高的分辨率另一个分支则通过多阶段下采样操作获得丰富的语义信息，两个分支的信息融合则通过双向桥接模块完成，模型最后还添加了一个DAPPM模块增加感受野以提取更丰富的语义信息。
DDRNet论文笔记
weixin_46460816的博客
05-03 1054
DDRNet，轻量化网络
语义分割论文阅读——DDRNet：用于实时和准确的道路场景语义分割的深度双分辨率网络
qq_43385070的博客
04-06 1153
摘要 语义分割是自动驾驶汽车理解周围场景的一项关键技术。如今模型出色的表现通常是以繁重的计算和冗长的推理时间为代价的，这对自动驾驶来说是不可容忍的。使用轻量级架构（编码器-解码器或双路径）或在低分辨率图像上进行推理，最近的方法实现了非常快的场景解析，甚至在单个1080Ti GPU上以超过100 FPS运行。然而，这些实时方法与基于dilation backbone的模型在性能上仍有很大差距。为了解决这个问题，我们提出了一个专门为实时语义分割设计的高效骨干网系列。所提出的深度双分辨率网络（DDRNets）由.
【论文笔记】DDRNet论文阅读笔记及复现
AI爱好者的博客，分享计算机领域相关知识
04-08 3363
轻量级语义分割模型大致分为2类：Encoder-Decoder结构（如ESPNet）和two-pathway（如BiSeNet）。类似two-pathway结构，DDRNet使用Dual-resolution，并引入DAPPM（Deep Aggregation Pyramid Pooling Module）模块。在Cityscapes测试集、GPU 2080Ti，DDRNet-23-slim达到102FPS，miou77.4%。
[论文笔记] DDRNET
cheng_xuzhu的博客
07-09 927
作者说尽管最近的实时语义分割方法已经很快了 但是仍然比不过基于膨胀卷积的方法 作者提出DDRNET 经典的two-branch 设计了一条新的上下文提取模块(DAPPM)能增大感受野并且能基于低分辨率特征图融合多尺度上下文信息。
学习看论文入门记录、阅读论文笔记模板
07-11
论文的基本了解、论文笔记内容、阅读记录模板纵向、阅读记录模板横向、论文搜索翻译润色、笔记等的相关网站软件记录
论文笔记模板——自用xmind模板
10-15
为了看论文时更有条理，并且沉淀的东西更多更有用，我总结了一个自用的【论文笔记整理模板】，以xmind格式呈现
DDRNet.pytorch:这是用于道路场景的实时和精确语义分割的深度双分辨率网络的非官方代码。 无需使用推断加速和额外数据，即可在城市景观和camvid上实现精度与速度之间的最新权衡
05-09
深度双分辨率网络，可实时，准确地对道路场景进行语义分割 介绍 这是的非官方代码。 在单个2080Ti GPU上，DDRNet-23-slim在109 FPS的Cityscapes测试装置上可产生77.4％的mIoU，从而在城市景观和camvid的精度和速度之间实现了最先进的权衡，而无需使用推理加速和额外的数据！在CamVid测试装置上以230 FPS时有74.4％的mIoU。 该代码主要来自和，感谢他们的工作。 要求 在这里列出了实验中使用的软件和硬件 pytorch == 1.7.0 3080 * 2 cuda == 11.1 快速开始 0.数据准备 您需要下载数据集。 并重命名cityscapes文件夹，然后将数据放在data文件夹下。 └── data ├── cityscapes └── list 1.预训练模型 从imagenet上下载预训练模型或从那里下载分割模
DDRNet：道路场景的实时语义分割
02-24
正式实现“深度双分辨率网络，实时，准确地对道路场景进行语义分割” 无需使用推理加速和额外数据，即可在城市景观和camvid上实现精度与速度之间的最新权衡！ 我们方法的整体架构。 “深度聚合金字塔合并模块（DAPPM）”的详细信息。 用法 当前，此回购包含用于分类和语义分段的模型代码和预训练模型。 您可以参考在本地培训和测试我们的模型。 我们将在稍后发布整个火车并测试代码。 注意 您应该采用一些基本的训练技巧来重现我们的结果，包括班级平衡样本，ohem，作物大小为1024x1024。 可以在找到更多详细信息。 预训练模型 DDRNet上的DDRNet_23_slim（top-1错误：29.8）： DDRNet_23在ImageNet上（top-1错误：24.0）： DDRNet_39在ImageNet上（top-1错误：22.6）： DDRNet_23_slim在Cityscap
数据融合matlab代码-DDR-Net:“学习具有动态深度范围的多阶段多视图立体声”的正式实施
05-22
数据融合matlab代码DDR网络 正式实现“ DDR-Net：学习具有动态深度范围的多阶段多视图立体声” 安装 要求 python 3.6 Pytorch> = 1.0.0和<= 1.2.0（我们建议不要使用高于1.2.0的Pytorch版本，因为插值可能会出现一些问题。） CUDA> = 9.0 pip install -r requirements.txt 加快培训的选项：Apex 安装apex以启用同步批处理标准化 git clone https://github.com/NVIDIA/apex.git cd apex pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./ 在DTU数据集上的培训和测试。 训练 下载经过预处理的和（都来自），并将其上拉为$ MVS_TRANING文件夹。 该目录的格式如下： ├── Cameras ├── Depths ├── Depths_raw ├── Rectified ├── Cameras 在train.sh ，
实时语义分割网络DDRNet项目
10-02
实时语义分割网络DDRNet项目工程，已调试成功，运行结果展示如下 2022-05-05 07:35:32,001 Loss: 0.457, MeanIU: 0.7796, Best_mIoU: 0.7802 2022-05-05 07:35:32,001 [0.98194617 0.85180647 0.92407255 0.58784785 0.59236745 0.64585143 0.69415029 0.76973187 0.92413451 0.6401672 0.94537195 0.81574417 0.63227908 0.94934242 0.80143391 0.87566783 0.7885714 0.63113426 0.76087927] 2022-05-05 07:35:32,174 Hours: 41 2022-05-05 07:35:32,174 Done
Deep Residual Learning for Image Recognition 深度残差网络论文笔记
04-12
Deep Residual Learning for Image Recognition 深度残差网络论文笔记 蓝：生疏词汇 红：疑惑 黄：重点 绿：次重点 使用Edge浏览器可编辑
【论文】如何记论文笔记
weixin_43210113的博客
05-02 3542
〇、前情提要 论文笔记。 参考： 【学术干货】博士学姐的学术论文阅读方法|笔记格式 https://www.bilibili.com/video/BV13E411W7u5?from=search&seid=13561606915041380585 【学术干货】文献收集途径|筛选鉴别原则|整理工具 https://www.bilibili.com/video/BV1ME411j721 干货分享|手把手教你用OneNote写论文笔记|高效准备毕业论文 https://www.bilibili.com/v
resnet论文笔记.ipynb
11-08
resnet论文笔记.ipynb
语义分割论文阅读笔记7：DDRNet
Sugar_pp的博客
07-30 901
语义分割是自动驾驶汽车理解周围场景的关键技术。当代模型的吸引人的性能通常是以繁重的计算和漫长的推理时间为代价的，这对于自动驾驶来说是无法忍受的。最近的方法使用轻量级架构（编码器-解码器或双路径）或对低分辨率图像进行推理，实现了非常快速的场景解析，甚至在单个 1080Ti GPU 上以超过 100 FPS 的速度运行。然而，这些实时方法与基于扩张主干的模型在性能上仍然存在显着差距。为了解决这个问题，我们提出了一系列专门为实时语义分割而设计的高效主干网。
DDRNet语义分割
06-15
DDRNet（Deep Decoder-Refiner Network）是一种深度学习模型，特别应用于图像语义分割任务中。它是由北京大学的研究团队提出的，旨在提高语义分割的精度和效率。DDRNet的设计理念是将传统的编码器（如VGG、ResNet等）和解码器结构结合起来，通过一个名为“深度解码器”的部分，对特征图进行精细的下采样和上采样操作。 在DDRNet中，深度解码器负责从编码器生成的粗糙特征图中提取更多的细节信息，这些细节被用于重建高分辨率的语义分割结果。相比于其他单纯依赖于上采样的方法，DDRNet通过解码器内的注意力机制和残差连接优化了特征融合，提高了分割结果的精度。 相关问题： 1. DDRNet相较于传统的语义分割模型有哪些优势？ 2. 深度解码器如何帮助提升分割精度？ 3. DDRNet中的注意力机制是如何工作的？ 4. DDRNet在实际应用中有哪些场景或挑战？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值