YOLOv8改进,YOLOv8引入DySample超轻量级且有效的动态上采样器(ICCV2023)+SCAM空间上下文感知模块,提高模型在遥感小目标和低分辨率检测能力


在这里插入图片描述


理论介绍

DySample 通过动态采样来实现有效的特征上采样。与传统的基于卷积的动态上采样不同,DySample 回归到上采样的本质,即点采样,来提高资源效率和易实现性。DySample 核心思想:

  • 点采样观点:DySample 将上采样视为点采样过程,使用内容感知的采样点从连续的特征图中重新采样,比动态卷积更为轻量。
  • 高效实现:DySample 避免了复杂的自定义 CUDA 实现,减少了参数、浮点运算(FLOPs)、显存占用和延迟,在语义分割、目标检测、实例分割、全景分割和单目深度估计等密集预测任务中表现出色。

DySample 基于采样的动态上采样和模块设计如下图(摘自论文):
在这里插入图片描述

理论详解可以参考链接:论文地址
代码可在这个链接找到:代码地址


# 理论介绍

SCAM 通过全局上下文信息的建模来增强特征表示,从而改善小目标检测的性能,在跨越空间和通道构建全局上下文关系,以增强小目标和背景之间的区分。具体实现方法包括以下几点:

  • 全局平均池化 (GAP) 和全局最大池化 (GMP):SCAM 使用 GAP 和 GMP 来整合全局信息。这些池化操作能够引导像素学习空间和通道之间的关系。
  • 线性变换:通过 1x1 卷积生成特征图的线性变换结果,称为 value。
  • 简化的乘法操作:使用 1x1 卷积简化查询和键的乘法操作,称为 QK。
  • 矩阵乘法:第一支路和第三支路分别与第二支路进行矩阵乘法操作,生成跨通道和空间的上下文信息。
  • 广播哈达玛积:最终通过广播哈达玛积(逐元素乘法)来融合这两个分支的结果,得到 SCAM 的输出。
    SCAM结构如下所示(摘自论文):
    在这里插入图片描述

理论详解可以参考链接:论文地址
代码可在这个链接找到:代码地址</

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

挂科边缘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值