RGB-T追踪——【综述】A Survey for Deep RGBT Tracking.

已于 2022-09-20 10:05:25 修改
阅读量5.4k 收藏 36
点赞数 6
分类专栏： RGB-T追踪 论文阅读 SOT 文章标签： 深度学习 人工智能 计算机视觉
于 2022-09-19 22:42:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42312574/article/details/126899610
版权

目录

1. A Survey for Deep RGBT Tracking
2. MDNet: Learning Multi-Domain Convolutional Neural Networks for Visual Tracking
3. CMPP: Cross-Modal Pattern-Propagation for RGB-T Tracking
4. APFNet: APFNet: Attribute-Based Progressive Fusion Network for RGBT Tracking
5. ADRNet：Learning Adaptive Attribute-Driven Representation for Real-Time RGB-T Tracking

本篇论文总结了RGBT追踪中那些基于深度学习的方法，并在GTOT, RGBT210, RGBT234 和LASHER这四个公认的Benchmark上面进行对比（应该是直接搬用的论文里

最低0.47元/天 解锁文章
人群计数最全代码、数据、论文合集
jacke121的专栏
03-15 9455
2021.11.19更新： 人群计数 /Crowd Counting Rethinking Counting and Localization in Crowds:A Purely Point-Based Framework(Oral) 论文/paper：https://arxiv.org/abs/2107.12746 代码/code：GitHub - TencentYoutuResearch/CrowdCounting-P2PNet: The official codes for the ICC.
RGB-T追踪——【多模态融合】APFNet: Attribute-Based Progressive Fusion Network for RGBT Tracking
qq_42312574的博客
09-15 4596
现有的RGB-T多模态的融合模型通常是设计一个大而复杂的融合模型，或是生成模态相关的置信分数来自适应性地融合RGB模态和TIR模态特征，或是充分考虑模态共享特征-模态独有特征-模态生成响应图这三个方面设计融合模型。这样复杂模型所带来的问题就是需要大量的训练数据，且尽可能包括各种有挑战属性的场景。中提出一个RGB-T追踪的新思路：针对五个典型的挑战（如光照变化(IV)、快速运动(FM)、尺度变化(SV)、遮挡(OCC)和热交叉(TC)）设计不同的分支提取相应特征，再融合起来。
RGB-T追踪——【多模态融合】Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline
qq_42312574的博客
07-28 7543
通常RGB-T追踪器主要用了RGB追踪器相似的pipeline，然后聚焦于设计一个两模态融合方法。现有的融合方法主要分为图片融合、特征融合、决策融合三类。【图片融合】利用BackBone网络，以共享权重的方式学习可见光图片和热红外图片的图片特征，并且学出来的这个共享权重相当于取了可见光图片和热红外图片中对定位目标有用的一致的信息。这种方法存在的缺陷是需要可见光图片和热红外图片高度对齐。【特征融合】大多数Tracker是融合可见光图片和热红外图片的特征。这里也有两种融合。......
融合视角下的RGBT单目标跟踪综述
一点人工一点智能的博客
04-29 3016
智能融合视角下的RGBT单目标跟踪综述RGBT视觉跟踪技术通过结合可见光与红外模态，有效应对低光环境、遮挡和伪装等复杂场景，显著提升跟踪性能，在多个领域展现出广阔的应用前景。
分而治之：用于 RGB-T 显著目标检测的 Confluent Triple-Flow 网络
最新发布
m0_59899305的博客
03-10 1306
显著性目标检测（Saliency Object Detection，简称 SOD）是众多领域（如计算机视觉、计算机图形学和机器人学）中的一项基础研究任务，其目标是在图像中精确定位那些能够吸引人类视觉注意力的像素级目标或区域。近年来，显著性目标检测已成功应用于众多下游领域 [3]、[4]、[5]、[6]。特别是在基于 RGB 的显著性目标检测任务中 [7]、[8]，已经取得了重大进展。然而，尽管 RGB 模态提供了丰富的纹理和颜色信息，但它缺乏鲁棒性，并且很容易受到实际环境因素的影响。
Multi-Adapter RGBT Tracking代码学习（一）
qq_45104603的博客
07-31 1019
Multi-Adapter RGBT Tracking代码学习
Efficient RGB-T Tracking via Cross-Modality Distillation
Sky_小天
11-29 1612
RGB-T跟踪是一种估计RGB-T视频序列的每一帧中任意目标的状态的任务。由于热红外（TIR）传感器的可承受性，RGB-T跟踪引起了越来越多的研究兴趣。如图1 (a)所示，大多数现有的RGB-T跟踪模型首先采用双流结构分别提取多级单峰RGB和TIR特征，然后利用精心设计的多模态特征融合模块来利用多模态数据中的互补信息。最后，他们从融合的特征中推导出目标状态，通常由一个边界框表示。最后，他们从融合的特征中推导出目标状态，通常由一个边界框表示。
RGBT Tracking via Progressive Fusion Transformerwith Dynamically Guided Learning
peer_hellojio的博客
03-01 1587
现有的基于 Transformer 的 RGBT 跟踪方法要么使用交叉注意力来融合两种模态，要么使用自注意力和交叉注意力来对模态特定信息和模态共享信息进行建模。然而，模态之间显着的外观差距限制了融合过程中某些模态的特征表示能力。为了解决这个问题，我们提出了一种名为 ProFormer 的新型渐进式融合变压器，它逐步将单模态信息集成到多模态表示中，以实现鲁棒的 RGBT 跟踪。特别是，ProFormer首先使用自注意力模块来协作提取多模态表示，然后使用两个交叉注意力模块分别将其与双模态的特征进行交互。
RGBT Tracking论文阅读：Efficient RGB-T Tracking via Cross-Modality Distillation（CVPR2023）
qianxi1234的博客
06-02 1621
目前大多数RGB-T跟踪器采用双流结构来提取单峰RGB和热特征，并采用复杂的融合策略来实现多模态特征融合，这需要大量的参数，从而阻碍了其在现实生活中的应用。另一方面，紧凑型RGB-T跟踪器在计算上可能是高效的，但由于特征表示能力的削弱，会遇到不可忽略的性能退化。为了弥补这种情况，提出了一种跨模态蒸馏框架，以弥补紧凑跟踪器和强大跟踪器之间的性能差距。
A Survey for Deep RGBT Tracking论文阅读
qq_45104603的博客
08-02 1169
②FANet首先将RGB和TIR模态的特征通道连接起来进行模态间交互，然后分离进行融合权值计算，使用用softmax进行归一化。④DAFNet与DAPNet中使用的粗糙的融合子网络相比，DAFNet[17]进一步设计了一个与FANet相似的自适应融合模块。⑤MANet抽取目标特有的细节，多模态共享的信息，多模态特定的信息，③DAPNet循环使用子网络。......
RGB-T追踪——【Siamese】SiamCDA: Complementarity- and Distractor-Aware RGB-T Tracking
qq_42312574的博客
09-19 2390
这里的操作是，对于前面融合的结果：第一帧的三阶段融合特征和当前帧的三阶段融合特征，分别对三个阶段的融合特征应用Region Proposal网络生成k个anchor，然后用分类分支和回归分支生成对应的响应图。第一帧的RGB特征、TIR特征和当前帧的特征、TIR特征分别这样融合，得到第一帧的三阶段融合特征和当前帧的三阶段融合特征。４.２　如果“太子框”与上一帧的框的交并比小于０.２，就从剩下的其它框，就选其它框中与上一帧的框的交并比大于等于０.７的框且置信度最高的那个。１.　置信度超过０.３的候选框留下；
RGB-T追踪——【数据集基准】GTOT / RGBT210 / RGBT234 / VOT-2019-2020 / LasHeR / VTUAV
热门推荐
qq_42312574的博客
07-25 1万+
这个数据集出自2016IEEETransactionsonImageProcessing(T-IP)的文章，安徽大学李成龙课题组。数据集包括带统计偏差的50个视频对（以灰度图片-热红外图片对的序列）、视频对应的每帧GroundTruth注释、两个评估指标。视频对是对齐的灰度图片和热红外图。视频拍摄场景有16个，包括实验室、校园道路、操场、水池等等。数据集的统计特性包括评价指标预测框与真值框之间的中心位置距离。由于是小目标，所以这里阈值也由常用的20像素改成5像素。.........
Multimodal-Tracking-Survey:对多模式跟踪的全面调查，包括RGB-T和RGB-D跟踪方法
03-19
多式联运调查 有关多模式跟踪的全面调查，包括RGB-T和RGB-D跟踪方法。此列表将进行长期更新。如果您的评论缺少相关论文，请随时联系 。 多式联运跟踪列表 RGB-D追踪 2020年 世界海关组织：刘卫春，唐小安，赵成玲。加权加权运算符可实现可靠的RGBD跟踪。在《传感器20（8），2020年》中。 2019年 3DMS ：亚历山大·古特夫（Alexander Gutev），卡尔·詹姆斯·德波诺（Carl James Debono）。利用深度信息来提高对象跟踪的鲁棒性。在ICST 2019中。 OTR ：Ugur Kart，Alan Lukezic，Matej Kristan，Joni-Kristian Kamarainen，Jiri Matas。使用特定于视图的区分性相关过滤器通过重建进行对象跟踪。在CVPR 2019中。 TACF ：杨柳Ku，龚健文，李东东，肖晶晶。
ECCV 2020预会议 直播笔记| - Challenge-Aware RGBT Tracking
yuuzhao的博客
07-31 706
a 三阶段训练方法 T 是啥
[RGBT-VOT3](2020ECCV)CAT：Challenge-Aware RGBT Tracking
m0_37412775的博客
10-17 1072
RGB和红外源数据再RGBT跟踪中有着相同的挑战——如何探索利用这些数据来表达目标外观。本文提出了一个。
阅读《Fusing two-stream convolutional neural networks for RGB-T object tracking》
阿飞CVPR
03-16 780
这篇论文主要的创新点就是①将双流卷积运用到了RGB-T目标跟踪上②设计了一个融合子网络，选出K个最具有代表意义的特征图。
Unified Single-Stage Transformer Network for Efficient RGB-T Tracking
peer_hellojio的博客
03-01 1512
现有的RGB-T跟踪网络大多以单独的方式提取模态特征，缺乏模态之间的交互和相互指导。这限制了网络适应目标的多种双模态外观以及模态之间的动态关系的能力。此外，这些网络遵循的三阶段融合跟踪范式极大地限制了跟踪速度。为了克服这些问题，我们提出了一个统一的单级 Transformer RGB-T 跟踪网络，即 USTrack，它通过自注意力机制将上述三个阶段统一为具有双嵌入层的单个 ViT（Vision Transformer）主干。通过这种结构，网络可以在模态交互作用下提取模板和搜索区域的融合特征。
Review of RGB-T and MFGNet: Dynamic Modality-Aware Filter Generation for RGB-T Tracking
My_Communication的博客
10-27 606
许多RGB-T跟踪器试图利用自适应加权方案(或注意力机制)来实现鲁棒特征表示。与这些工作不同的是，我们提出了一种新的动态模态感知滤波器生成模块(MFGNet)，在实际跟踪中，通过自适应调整卷积核来增强可见光数据和热数据之间的信息通信。给定图像对作为输入，首先用骨干网对其特征进行编码。然后，我们将这些特征映射连接起来，生成带有两个独立网络的动态模态感知滤波器。使用可见滤波器和热滤波器分别对其对应的输入特征图进行动态卷积运算。受残差连接的启发，将生成的可见和热特征图与输入特征图进行汇总。增强后的特性映射将被输入
Duality-Gated Mutual Condition Network for RGBT Tracking
xuan971130的博客
09-16 1044
摘要： 低质量模态在RGBT跟踪中不仅包含大量的噪声信息，而且包含判别特征。然而，现有的RGBT跟踪算法并没有很好地探索低质量模态的潜力。在这项工作中，提出一种新的双门控互条件网络，充分利用所有模态的判别信息。同时抑制数据噪声的影响。具体来说，设计了一个互条件（mutual condition）模块，该模态以一个模态的判别信息为条件，指导另一个模态中目标外观的特征学习。该模态在存在低质量的模态下，可以有效地增强所有模态的目标表示。为了提高条件的质量并且进一步减少数据噪声，提出了一种双门控机...
RGB-T追踪技术解析：多适配器网络与目标驱动注意力
"RGB-T组会PPT，包含Challenge-Aware RGBT Tracking和Multi-Adapter RGBT Tracking的研究内容，旨在利用热红外图像增强目标追踪性能。" RGB-T技术是一种结合了可见光（RGB）和热红外（Thermal，简称T）信息的多模态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值