特征融合篇 | YOLOv8 引入动态上采样模块 | 超过了其他上采样器

迪菲赫尔曼

已于 2024-06-06 17:30:20 修改

阅读量2.6k

点赞数 9

分类专栏： YOLOv8改进实战文章标签： transformer 人工智能注意力机制深度学习 Pytorch

于 2024-04-29 15:35:02 首次发布

原创文章为博主个人所有，未经授权不得转载、摘编、传播、倒卖、洗稿或利用其它方式使用上述作品。违反上述声明者，本站将追求其相关法律责任。

本文链接：https://blog.csdn.net/weixin_43694096/article/details/138314183

版权

YOLOv8改进实战专栏收录该内容

121 篇文章 979 订阅 ¥299.90 ¥399.90

订阅专栏

本文介绍了DySample，一种轻量级、高效的动态上采样器，用于替代传统上采样方法。DySample在多个密集预测任务中表现出色，同时减少了参数、FLOPs和GPU内存的消耗。相较于其他动态上采样器，DySample不需要高分辨率引导特征，简化了结构，并且易于用PyTorch实现。

摘要由CSDN通过智能技术生成

本改进已集成到YOLOv8-Magic 框架

在这里插入图片描述

论文名称：《Learning to Upsample by Learning to Sample》

论文地址：https://arxiv.org/abs/2308.15085

代码地址：https://github.com/tiny-smart/dysample

我们提出了 DySample，一种超轻量级且有效的动态上采样器。尽管最近基于内核的动态上采样器（如 CARAFE，FADE 和 SAPA）取得了令人印象深刻的性能提升，但它们引入了大量工作量，主要是由于耗时的动态卷积和用于生成动态内核的附加子网络。此外，FADE 和 SAPA 对高分辨率特征引导的需求在一定程度上限制了它们的应用场景。为了解决这些问题，我们绕过动态卷积，从点采样的角度制定上采样，这更具资源效率，并且可以很容易地使用 PyTorch 中的标准内置函数实现。我们首先展示了一个朴素的设计，然后演示了如何逐步加强其上采样行为，直至我们的新上采样器 DySample。与以前基于内核的动态上采样器相比，DySample 不需要定制的 CUDA 包，参数、FLOPs、GPU 内存和延迟都要少得多。除了轻量级特性外，DySample 在包括语义分割、目标检测、实例分割、全景分割和单目深度估计在内的五个密集预测任务中表现优异，超过了其他上采样器。

在这里插入图片描述
图 1：不同上采样器的性能、推理速度和 GFLOPs 的比较。圆圈大小表示 GFLOPs 成本。推理时间通过 ×2 上采样大小为 256×120×120 的特征图进行测试。mIoU 性能和额外的 GFLOPs 是在 ADE20K 数据集[42]上使用 SegFormer-B1[40]进行测试的。