特征级融合_基于可见光和红外图像的融合跟踪综述

我维护了一个关于可见光和红外图像融合跟踪的页面，主要收集相关文章、数据集、benchmark和结果等。欢迎关注：

https://github.com/xingchenzhang/RGB-T-fusion-tracking-papers-and-results#Recommendations​github.com

-------

本文简单介绍一下我们最近发表在信息融合领域顶级期刊Information Fusion（IF：10.716）的一篇综述论文“Object Fusion Tracking Based on Visible and Infrared Images: A Comprehensive Review”。

链接在此，欢迎下载、阅读、引用，谢谢！

Object Fusion Tracking Based on Visible and Infrared Images: A Comprehensive Review​www.sciencedirect.com

一、文章说明与动机

这是我之前在上海交大工作时写的论文。据我们所知，这篇论文是第一篇发表在国际知名期刊上的关于基于可见光与红外图像融合的目标跟踪（又称RGB-T目标跟踪，RGB-infrared目标跟踪，融合跟踪等，以下采用RGB-infrared）的综述论文，对到目前为止发表的RGB-infrared目标跟踪文献进行了全面总结和梳理。

之所以写这篇论文，是因为我们在做RGB-infrared目标跟踪的过程中，发现近年来该领域的文章很多，方法也多种多样，但是缺乏一篇很好地对这个领域进行梳理，并且提出一些未来的可能的发展方向的综述论文。

因此，在做了充分的文献调研以后，我们着手写了这篇文章。

二、关于RGB-infrared目标跟踪

RGB-infrared目标跟踪，是指利用可见光和红外图像的互补性能来进行目标跟踪。其主要原理是可见光和红外图像具有互补性能（可见光图像容易受光照影响，但可以提供更多细节；红外图像不受光照影响，但缺乏细节和纹理信息），主要目的是提高目标跟踪的性能，尤其是要使目标跟踪算法可以免受光照、雨雾灯因素影响。

可见光与红外图像的互补性

这个领域在近年来得到了迅速的发展，并且在2018年，出现了基于深度学习的方法。从2019年开始，VOT开始了一个名为VOT-RGBT的新的目标跟踪竞赛科目，即是针对可见光与红外图像融合跟踪的竞赛。

RGB-infrared目标跟踪发展历程

三、RGB-infrared目标跟踪方法分类

RGB-infrared目标跟踪中的关键点是可见光与红外图像的融合。根据融合的层次来讲，分类像素级、特征级和决策级的RGB-infrared跟踪。

按照使用的方法来分类，目前主要有基于传统方法、基于稀疏表达、基于图表示、基于相关滤波和基于深度学习的RGB-infrared跟踪方法。

主要方法

四、性能概述

未完待续。。。