SMCA-DETR代码中的高斯分布

最新推荐文章于 2025-05-24 16:33:14 发布
最新推荐文章于 2025-05-24 16:33:14 发布
阅读量316 收藏 1
点赞数 5
分类专栏： 机器视觉 文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50645064/article/details/143947706
版权

代码地址：GitHub - gaopengcuhk/SMCA-DETR

论文翻译解析：https://www.shlab.org.cn/news/5443081

在transformer.py文件中TransformerDecoderLayer类的forward下

偏移量预测：

计算距离（这里用到了广播机制）：

单尺度：

高斯计算：

然后当作列表传入多头注意力机制：

这里会跳转到multi_head_attention_forward()函数去，先将输入列表形式的gaussian提取出为tensor，然后改变维度顺序，和注意力权重相加

和论文中写的完全不一样：没有hw的预测，也不是高斯分布的计算，最后也没有logG和权重的相加

目标检测：dab-detr: dynamic anchor boxes are better queries for detr【方法解读】
sinat_39783664的博客
07-13 670
dab-detr: dynamic anchor boxes are better queries for detr文章解读
Plain-DETR
whaosoft143ai的博客
09-16 620
这些结果表明，借助作者的方法，改进后的普通DETR可以在没有固有限制的情况下实现竞争性能。作者的研究希望激发未来的研究，使用通用的普通解码器，例如DETR的解码器，来解决更广泛范围的视觉问题，以最小的努力，从而使该领域能够更多地将精力转向开发大规模基础视觉模型，类似于NLP领域的情况。论文提出了一种改进的DETR检测器，保持了“简单”的特性：使用单一尺度的特征图和全局交叉注意力计算，而没有特定的局部约束，与之前领先的基于DETR的检测器形成对比，后者重新引入了多尺度和局部性的架构归纳偏见到解码器中。
【Transformer】8、SMCA: Fast Convergence of DETR with Spatially Modulated Co-Attention
呆呆的猫的博客
10-29 1401
文章目录一、背景二、动机三、方法3.1 SMCA 概述3.2 Spatially Modulated Co-Attention四、效果 论文链接：https://arxiv.org/pdf/2108.02404.pdf 代码链接：https://github.com/gaopengcuhk/SMCA-DETR 一、背景 DETR 作为首个使用 Transformer 实现目标检测的方法，获得了和基于 CNN 的检测方法相媲美的检测效果，如 Faster-RCNN 等，而且不需要手工设计的 anchor
SAM-DETR学习笔记Accelerating DETR Convergence via Semantic-Aligned Matching
BestHammer的博客
02-10 1418
SAM-DETR论文
ICCV2021 | SMCA：即插即用的共同注意力模型，可使DETR收敛加速10倍
zandaoguang的博客
10-23 2189
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达计算机视觉领域顶级会议 ICCV（国际计算机视觉大会）于10月11日至17日正式召开。据大会官方统计，ICCV 2021...
港中文&商汤提出SMCA：用于DETR快速收敛的空间调制协同注意力
阿木寺的博客
01-20 1646
为了加速DETR收敛，本文提出了一种简单而有效的方案来改进DETR框架，即空间调制协同注意（SMCA）机制。即插即用，让DETR涨点明显。性能优于可变形DETR、DETR等网络。 注1：文末附【Transformer】和【目标检测】交流群 注2：整理不易，点赞的人暴富，论文多多！ SMCA Fast Convergence of DETR with Spatially Modulated Co-Attention 作者单位：港中文(李鸿升团队), 商汤(代季峰), 北大 论文：https://arxiv
SMCA：港中文提出注意力图校准的DETR加速方案 | ICCV 2021
晓飞的算法工程笔记
08-16 872
为了加速DETR收敛，论文提出了简单而有效的SMCA）机制，通过在初始边界框位置给予较高的协同注意力响应值的约束来构建DETR的回归感知协同注意力。此外，将SMCA扩展为多头注意力和尺度选择注意力后，对比DETR可以实现更好的性能（108周期45.6 mAPvs500周期43.3 mAP来源：晓飞的算法工程笔记 公众号。
突出性 DETR
03-24
### 关于DETR模型中的突出性实现与应用 #### 突出性在目标检测中的意义 在目标检测领域，突出性通常指图像中显著区域或物体的特性。这些区域往往更容易被人类视觉系统注意到，因此，在计算机视觉算法中引入突出性...
【学习笔记】TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers
weixin_53805563的博客
11-26 1024
首先是TransFusion的总体结构现有的基于硬关联的图像-点云融合方法很容易受到和的影响，这是因为在点云稀疏的部分，硬关联只能获取和点云数量一样少的像素数量，浪费了了高分辨率图像纹理和丰富语义信息的优势，更不用说还存在配准不佳，点云完全落在对应像素之外的情况。文章提出的TransFusion由特征提取主干和基于Transformer解码器的检测头组成，实现图像和点云的软关联，模型可以自行选择图像中提取的特征部分。下图是一个恶劣图像条件和由于点云的稀疏导致图像特征浪费的例子。
港中文提出SMCA：加快DETR收敛
阿木寺的博客
02-05 1017
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文转载自：Smarter先简单回顾一下之前加快DETR收敛的检测器是怎么做的，Deformable DETR...
复现SMCA-DETR--cannot import name ‘_new_empty_tensor‘ from ‘torchvision.ops‘ (/root/miniconda3/lib/pyt
m0_66181082的博客
01-11 987
报错如下#解决办法：2.箭头所示改为：
ICCV 2021：炼丹师的福音，训练更快收敛的绝佳方案（附源代码）
gzq0723的博客
08-26 396
计算机视觉研究院专栏作者：Edison_G目标检测是现在最热门的研究课题，现在的框架越来越多，但是技术的新颖性到了瓶颈，目前开始流行Transformer机制，而且在目标检测领域也能获得较...
Detection Transformer（DETR）训练更快收敛的绝佳方案！即插即用的SMCA模块 | ICCV 2021...
zero的博客
08-07 1630
点击下方“AI算法与图像处理”，一起进步！ 重磅干货，第一时间送达 Vision Transformer 相关的工作依然火爆，不完全统计已有20来篇来，今天介绍一篇来自商汤科技的最新工作...
SMC代码自修改基础练习题
Agamotto丶的博客
05-19 4899
0x00 代码自修改简介 SMC(self-Modifying Code)，就是在真正执行某一段代码时，程序会对自身的该段代码进行自修改，只有在修改后的代码才是可汇编，可执行的。在程序未对该段代码进行修改之前，在静态分析状态下，均是不可读的字节码，IDA之类的反汇编器无法识别程序的正常逻辑。是一种反调试代码技术。 0x01 TSCTF—代码自修改writeup 整体流程 首...
目标检测 LW-DETR（2024）详细解读
qq_51352130的博客
05-21 334
原始的ViT包含一个分块层和Transformer编码层。（知乎观点）LW-DETR之所以这么用ViT，灵感是来源于kaiming团队的ViTDet，但是，ViT的结构显然是同质的，每一层之间的特征的关联性是很大的，即浅层的特征在深层特征中能够得到很好的保留，那么多层特征拼接的做法除了符合某种“思维惯性”，看不出来什么必要性。另外，考虑到检测任务的图像尺寸一般是大于分类的，此时ViT中的全局自注意力操作便会是显著的计算瓶颈，为了解决这一问题，作者团队便采用了窗口注意力机制，同时，为了保证窗口之间的交互，
目标检测DINO-DETR（2023）详细解读
qq_51352130的博客
05-20 1483
与此相反，我们的混合查询选择方法只用前 K 个选定特征来增强位置查询，并保持内容查询的可学习性。在实现上，DINO-DETR拥有两个超参数 λ1,λ2(λ1<λ2) 用于控制正负噪声样本的生成，而DN-DETR只有一个超参数 λ ，DN-DETR控制生成的噪声不超过 λ 并期望网络可以用在gts附近的轻微噪声querys去重构出gts。第三，为了利用后期层的refined box信息来帮助优化相邻早期层的参数，提出了一种新的look forward twice方案，用后面的层的梯度来修正更新后的参数。
AI 笔记 - 模型优化 - 注意力机制在目标检测上的使用
最新发布
qq_25439881的博客
05-24 753
挑战注意力机制的解决方案局部关键特征（如眼睛、嘴巴）空间注意力聚焦人脸局部区域多尺度人脸（大小差异）多尺度注意力或金字塔注意力遮挡问题动态抑制遮挡区域的权重背景干扰通道注意力增强人脸相关特征通道计算效率（实时性要求）稀疏注意力或局部窗口注意力。
【论文阅读 | CVPR 2024 |RSDet:去除再选择：一种用于 RGB - 红外目标检测的由粗到精融合视角】
berling00的博客
05-21 1397
近年来，利用可见光（RGB）和热红外（IR）图像的目标检测技术已受到广泛关注，并在众多领域得到广泛应用。通过利用 RGB 和 IR 图像之间的互补特性，目标检测任务能够在从白天到夜间的各种光照条件下实现可靠且鲁棒的目标定位。大多数现有的多模态目标检测方法直接将 RGB 和 IR 图像输入深度神经网络，导致检测性能较差。我们认为，这一问题不仅源于有效融合多模态信息的挑战，还源于 RGB 和 IR 模态中均存在冗余特征。每种模态的冗余信息会在传播过程中加剧融合不精确的问题。
海康工业相机白平衡比选择器对应的值被重置后，如何恢复原成像
wangmengmeng99的博客
05-20 382
我在做项目的时候，为了让这个相机成像稳定一点，尤其是做颜色检测时，如果自动白平衡打开，会因为环境问题，光线波动，导致这个成像颜色波动，尤其是做颜色检测的时候，所以一般我都会把这个白平衡关掉，然后单独对红绿蓝三个通道去设置相应的值，调好了成像后，后面识别的时候，识别颜色的阈值就和当前的成像保持着关联，一但成像变化大了，就可能导致之前的颜色阈值不适配了，导致颜色识别错误。做项目的时候，有时候手抖，一不小心把一个成熟稳定的项目的相机配置，重置了，如何进行恢复呢，在不知道之前配置数据的情况下。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小小老大MUTA️

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值