RGB-T追踪——【多模态融合】APFNet: Attribute-Based Progressive Fusion Network for RGBT Tracking

已于 2022-09-17 22:48:27 修改
阅读量4.6k 收藏 28
点赞数 6
分类专栏： 论文阅读 RGB-T追踪 文章标签： 深度学习 人工智能 神经网络
于 2022-09-15 17:34:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42312574/article/details/126871658
版权

目录

论文
代码

文章侧重点

现有的RGB-T多模态的融合模型通常是设计一个大而复杂的融合模型，或是生成模态相关的置信分数来自适应性地融合RGB模态和TIR模态特征，或是充分考虑模态共享特征-模态独有特征-模态生成响应图这三个方面设计融合模型。这样复杂模型所带来的问题就是需要大量的训练数据，且尽可能包括各种有挑战属性的场景。

本篇文章作者之一的李成龙大佬实验室曾在2020年发表文章Challenge-Aware RGBT Tracking中提出一个RGB-T追踪的新思路：针对五个典型的挑战（如光照变化(IV)、快速运动(FM)、尺度变化(SV)、遮挡(OCC)和热交叉(TC)）设计不同的分支提取相应特征，再融合起来。这样的设计好处在于减少了模型对训练数据的依赖，因为可以将训练数据按照属性分类对应这些分支进行单独训练，只有在训练融合模型的时候再合起来。这时候这个融合模型的参数会比上面所说的模型参数少很多。

这篇文章与以往文章的不同之处在于，重新设计了不同分支的融合模块，提出了基于属性的逐步融合网络【Attribute-Based Progressive Fusion Network，APFNet】

最低0.47元/天 解锁文章
RGB-T追踪——【多模态融合】Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline
qq_42312574的博客
07-28 7644
通常RGB-T追踪器主要用了RGB追踪器相似的pipeline，然后聚焦于设计一个两模态融合方法。现有的融合方法主要分为图片融合、特征融合、决策融合三类。【图片融合】利用BackBone网络，以共享权重的方式学习可见光图片和热红外图片的图片特征，并且学出来的这个共享权重相当于取了可见光图片和热红外图片中对定位目标有用的一致的信息。这种方法存在的缺陷是需要可见光图片和热红外图片高度对齐。【特征融合】大多数Tracker是融合可见光图片和热红外图片的特征。这里也有两种融合。......
RGB-T追踪——【综述】A Survey for Deep RGBT Tracking.
qq_42312574的博客
09-19 5525
本篇论文总结了RGBT追踪中那些基于深度学习的方法，并在GTOT, RGBT210, RGBT234 和LASHER这四个公认的Benchmark上面进行对比（应该是直接搬用的论文里面的实验数据，所以并不是所有对比的Tracker都有四个Benchmark的结果）
Attribute-Based Progressive Fusion Network for RGBT Tracking训练的复现
qq_45104603的博客
07-18 929
Attribute-Based Progressive Fusion Network for RGBT Tracking prepro_data.py的复现
RGB-T综述
最新发布
m0_59899305的博客
03-27 608
RGB-T显著性检测已成为计算机视觉研究的重要方向，结合RGB与热红外数据的互补性，能够提升复杂环境下的显著性检测能力。当前研究重点包括跨模态特征融合、Transformer应用、自监督学习等。未来的发展将集中在更高效的模型设计、弱监督学习以及多模态融合，以进一步提升模型的实用性和鲁棒性。
Attribute-based Progressive Fusion Network for RGBT Tracking论文研读笔记
m0_46749624的博客
10-28 4106
Attribute-based Progressive Fusion Network for RGBT Tracking论文研读笔记
RGBT Tracking via Progressive Fusion Transformerwith Dynamically Guided Learning
peer_hellojio的博客
03-01 1626
现有的基于 Transformer 的 RGBT 跟踪方法要么使用交叉注意力来融合两种模态，要么使用自注意力和交叉注意力来对模态特定信息和模态共享信息进行建模。然而，模态之间显着的外观差距限制了融合过程中某些模态的特征表示能力。为了解决这个问题，我们提出了一种名为 ProFormer 的新型渐进式融合变压器，它逐步将单模态信息集成到多模态表示中，以实现鲁棒的 RGBT 跟踪。特别是，ProFormer首先使用自注意力模块来协作提取多模态表示，然后使用两个交叉注意力模块分别将其与双模态的特征进行交互。
ECCV 2020预会议 直播笔记| - Challenge-Aware RGBT Tracking
yuuzhao的博客
07-31 714
a 三阶段训练方法 T 是啥
RGB-T追踪——【Siamese】SiamCDA: Complementarity- and Distractor-Aware RGB-T Tracking
qq_42312574的博客
09-19 2407
这里的操作是，对于前面融合的结果：第一帧的三阶段融合特征和当前帧的三阶段融合特征，分别对三个阶段的融合特征应用Region Proposal网络生成k个anchor，然后用分类分支和回归分支生成对应的响应图。第一帧的RGB特征、TIR特征和当前帧的特征、TIR特征分别这样融合，得到第一帧的三阶段融合特征和当前帧的三阶段融合特征。４.２　如果“太子框”与上一帧的框的交并比小于０.２，就从剩下的其它框，就选其它框中与上一帧的框的交并比大于等于０.７的框且置信度最高的那个。１.　置信度超过０.３的候选框留下；
RGBT Tracking论文阅读：Efficient RGB-T Tracking via Cross-Modality Distillation（CVPR2023）
qianxi1234的博客
06-02 1650
目前大多数RGB-T跟踪器采用双流结构来提取单峰RGB和热特征，并采用复杂的融合策略来实现多模态特征融合，这需要大量的参数，从而阻碍了其在现实生活中的应用。另一方面，紧凑型RGB-T跟踪器在计算上可能是高效的，但由于特征表示能力的削弱，会遇到不可忽略的性能退化。为了弥补这种情况，提出了一种跨模态蒸馏框架，以弥补紧凑跟踪器和强大跟踪器之间的性能差距。
Efficient RGB-T Tracking via Cross-Modality Distillation
Sky_小天
11-29 1677
RGB-T跟踪是一种估计RGB-T视频序列的每一帧中任意目标的状态的任务。由于热红外（TIR）传感器的可承受性，RGB-T跟踪引起了越来越多的研究兴趣。如图1 (a)所示，大多数现有的RGB-T跟踪模型首先采用双流结构分别提取多级单峰RGB和TIR特征，然后利用精心设计的多模态特征融合模块来利用多模态数据中的互补信息。最后，他们从融合的特征中推导出目标状态，通常由一个边界框表示。最后，他们从融合的特征中推导出目标状态，通常由一个边界框表示。
Unified Single-Stage Transformer Network for Efficient RGB-T Tracking
peer_hellojio的博客
03-01 1527
现有的RGB-T跟踪网络大多以单独的方式提取模态特征，缺乏模态之间的交互和相互指导。这限制了网络适应目标的多种双模态外观以及模态之间的动态关系的能力。此外，这些网络遵循的三阶段融合跟踪范式极大地限制了跟踪速度。为了克服这些问题，我们提出了一个统一的单级 Transformer RGB-T 跟踪网络，即 USTrack，它通过自注意力机制将上述三个阶段统一为具有双嵌入层的单个 ViT（Vision Transformer）主干。通过这种结构，网络可以在模态交互作用下提取模板和搜索区域的融合特征。
Multimodal-Tracking-Survey:对多模式跟踪的全面调查，包括RGB-T和RGB-D跟踪方法
03-19
多式联运调查 有关多模式跟踪的全面调查，包括RGB-T和RGB-D跟踪方法。此列表将进行长期更新。如果您的评论缺少相关论文，请随时联系 。 多式联运跟踪列表 RGB-D追踪 2020年 世界海关组织：刘卫春，唐小安，赵成玲。加权加权运算符可实现可靠的RGBD跟踪。在《传感器20（8），2020年》中。 2019年 3DMS ：亚历山大·古特夫（Alexander Gutev），卡尔·詹姆斯·德波诺（Carl James Debono）。利用深度信息来提高对象跟踪的鲁棒性。在ICST 2019中。 OTR ：Ugur Kart，Alan Lukezic，Matej Kristan，Joni-Kristian Kamarainen，Jiri Matas。使用特定于视图的区分性相关过滤器通过重建进行对象跟踪。在CVPR 2019中。 TACF ：杨柳Ku，龚健文，李东东，肖晶晶。
Duality-Gated Mutual Condition Network for RGBT Tracking
xuan971130的博客
09-16 1056
摘要： 低质量模态在RGBT跟踪中不仅包含大量的噪声信息，而且包含判别特征。然而，现有的RGBT跟踪算法并没有很好地探索低质量模态的潜力。在这项工作中，提出一种新的双门控互条件网络，充分利用所有模态的判别信息。同时抑制数据噪声的影响。具体来说，设计了一个互条件（mutual condition）模块，该模态以一个模态的判别信息为条件，指导另一个模态中目标外观的特征学习。该模态在存在低质量的模态下，可以有效地增强所有模态的目标表示。为了提高条件的质量并且进一步减少数据噪声，提出了一种双门控机...
阅读《Fusing two-stream convolutional neural networks for RGB-T object tracking》
阿飞CVPR
03-16 782
这篇论文主要的创新点就是①将双流卷积运用到了RGB-T目标跟踪上②设计了一个融合子网络，选出K个最具有代表意义的特征图。
Challenge-Aware RGBT Tracking
xuan971130的博客
06-23 2046
chenglong Li, Lei Liu, Andong Lu, Qing Ji, and JinTang 1.RGBT挑战： 光照变化（illumination variation）、热交叉（thermal crossover）和遮挡（occlusion）等 2.RGBT深度学习方法分类： （1）多模态表示学习（如MANet） （2）多模态融合模型（如mfDiMP） （3）上述两种的混合模型（如DAPNet） 1.引言 目前存在的RGBT跟踪器，...
[RGBT-VOT3](2020ECCV)CAT：Challenge-Aware RGBT Tracking
m0_37412775的博客
10-17 1099
RGB和红外源数据再RGBT跟踪中有着相同的挑战——如何探索利用这些数据来表达目标外观。本文提出了一个。
复现Multi-Adapter RGBT Tracking（二）——Tracking
qq_45104603的博客
07-31 497
复现Multi-Adapter RGBT Tracking（二）——Tracking
FuNNet： 基于多尺度RGB-T融合的多模态神经网络语义分割
莫大逗比嘟嘟
04-20 1724
目录 一、Title 二、Journal 三、Background 四、Model 五、Experiments Experiment 1 Experiment 2 Experiment 3 Experiment 4 论文阅读时间: 2021-4-15 21:46:50 一、Title Multi-modal neural networks with multi-scale RGB-T fusion for semantic segmentation 二、Jou...
Review of RGB-T and MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking
My_Communication的博客
10-27 611
许多RGB-T跟踪器试图利用自适应加权方案(或注意力机制)来实现鲁棒特征表示。与这些工作不同的是，我们提出了一种新的动态模态感知滤波器生成模块(MFGNet)，在实际跟踪中，通过自适应调整卷积核来增强可见光数据和热数据之间的信息通信。给定图像对作为输入，首先用骨干网对其特征进行编码。然后，我们将这些特征映射连接起来，生成带有两个独立网络的动态模态感知滤波器。使用可见滤波器和热滤波器分别对其对应的输入特征图进行动态卷积运算。受残差连接的启发，将生成的可见和热特征图与输入特征图进行汇总。增强后的特性映射将被输入
RGB-T追踪技术解析：多适配器网络与目标驱动注意力
"RGB-T组会PPT，包含Challenge-Aware RGBT Tracking和Multi-Adapter RGBT Tracking的研究内容，旨在利用热红外图像增强目标追踪性能。" RGB-T技术是一种结合了可见光（RGB）和热红外（Thermal，简称T）信息的多模态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值