Dense Structural Learning for Infrared Object Tracking - DSLT; 附UAV123_10fps和VIVID

Dense Structural Learning for Infrared Object Tracking - DSLT: winner of VOT-TIR2017   

 

    在刚刚过去的VOT-TIR2017红外目标跟踪挑战赛中，我们的DSLT跟踪算法获得了冠军。为此，VOT组委会副主席Michael Felsberg教授邀请我去参加10月28日ICCV上举办的VOT-Workshop并作12分钟的报告另加3分钟的问答，但是因为没有来得及办下签证导致此次威尼斯旅行计划泡汤，有点可惜。

    由于组委会认为去年的TIR比赛结果并没有达到令人满意的高度，因此今年的TIR比赛依然沿用了去年的红外图像数据集，在比赛一开始官方就贴出了这样的通知：

    VOT-TIR2017竟然把SRDCFir作为baseline，确实有点吓人。看看VOT-TIR2015和VOT-TIR2016的比赛结果就知道了，SRDCFir老大的地位一直没人能撼动得了。。。所以这届的TIR比赛注定是寂寞的：相较于前两年20多个参赛算法，以及VOT2017（可见光（彩色）图像目标跟踪挑战赛）50多个参赛算法，今年的TIR比赛仅有10个参赛算法，而且其中有4个跟踪算法：EBT、SRDCFir、BST、LTFLO是参加过VOT-TIR2016的，因此今年TIR比赛新加入的算法只有6个。有点意思的是，上述4个算法在TIR2016和TIR2017的评分（EAO）不尽相同，这有多种可能的原因：（1）由于数据精度丢失或者一些因素的存在，导致不同的电脑运行相同的程序可能会给出不同的结果，但是这种变化应该是非常细微的；（2）今年的评测方法与往年有了些调整，vot-toolkit程序有了一些修改；（3）一些算法是有随机性的，结果无法完全复制，但是好的算法在不同时刻运行的结果应该相差不大；（4）各个参赛者可能会对以往的代码进行某些细微调整，比如调了参数、换个feature或者解决了一些程序上的bug等。

    我们拿到了今年的winner，但是并不是太值得高兴的事，因为参赛算法少，而且我们的综合评分并没有显著高于SRDCFir。比赛后我改掉了代码中的一个小小的bug，把EAO提高到了0.4018，即使如此，也没有太大意思。

    只是我参加VOT-TIR比赛并不是瞄着第一去的，我的目的原本是跟踪效果前三即可，然速度要做到最快。可惜今年的VOT比赛取消了往年常用的速度度量EFO，理由是官方认为EFO受到硬件性能的影响。我使用vot-toolkit的过程中，发现EFO确实与平台性能有关，但是EFO仍然具有借鉴意义：我在2.3GHz的笔记本上得出某个跟踪器的EFO为35，在一个4.2GHz的台式机上得到对应的EFO为50+，虽然有明显差别，但是仍然在1倍以内。我们在提交完比赛结果的第二天就把DSLT算法写成论文投给了PRLetter，现在已经在线出版了：Dense Structural Learning for InfraredObject Tracking at 200+ Frames Per Second. 我们在4.2GHz的win10台式机上进行试验，vot-toolkit给出的EFO是110，对比VOT-TIR2016的结果，我们的速度显然已经远远超出大部分跟踪算法了。然后我们在vot-tir2016所有序列上跑一遍，给出的平均跟踪速度是215FPS（单线程，没有omp，没有gpu）。最近，我们对代码进行了一些优化，EFO已经达到了160了。我们在论文中指出，DSLT平均每帧的计算量大概是DCF（使用线性核的KCF）的1.5倍，前提是二者使用相同大小的training/detection image以及相同的特征表示。

   参赛用的DSLT算法的Matlab mex文件（Ubuntu x64 & Windows 7/10 x64）已经上传到了我的csdn资源了：http://download.csdn.net/download/yu_xianguo/10142414。第三方依赖库只有FFTW（一个Fortran语言写的开源傅里叶变换库）。代码是工程用的，暂无开源打算。（ps：今天才发现csdn资源已经没有0分的选项了，最少下载分是2分，其实我要这分数没啥用，但是想下载资源的童鞋还是要搞点资源分才行。。。）

 

 

    下面介绍一下DSLT的基本原理：