理论介绍
DySample 通过动态采样来实现有效的特征上采样。与传统的基于卷积的动态上采样不同,DySample 回归到上采样的本质,即点采样,来提高资源效率和易实现性。DySample 核心思想:
- 点采样观点:DySample 将上采样视为点采样过程,使用内容感知的采样点从连续的特征图中重新采样,比动态卷积更为轻量。
- 高效实现:DySample 避免了复杂的自定义 CUDA 实现,减少了参数、浮点运算(FLOPs)、显存占用和延迟,在语义分割、目标检测、实例分割、全景分割和单目深度估计等密集预测任务中表现出色。
DySample 基于采样的动态上采样和模块设计如下图(摘自论文):
理论详解可以参考链接:论文地址
代码可在这个链接找到:代码地址
# 理论介绍
SCAM 通过全局上下文信息的建模来增强特征表示,从而改善小目标检测的性能,在跨越空间和通道构建全局上下文关系,以增强小目标和背景之间的区分。具体实现方法包括以下几点:
- 全局平均池化 (GAP) 和全局最大池化 (GMP):SCAM 使用 GAP 和 GMP 来整合全局信息。这些池化操作能够引导像素学习空间和通道之间的关系。
- 线性变换:通过 1x1 卷积生成特征图的线性变换结果,称为 value。
- 简化的乘法操作:使用 1x1 卷积简化查询和键的乘法操作,称为 QK。
- 矩阵乘法:第一支路和第三支路分别与第二支路进行矩阵乘法操作,生成跨通道和空间的上下文信息。
- 广播哈达玛积:最终通过广播哈达玛积(逐元素乘法)来融合这两个分支的结果,得到 SCAM 的输出。
SCAM结构如下所示(摘自论文):