【小白笔记】目标跟踪CSR-DCF论文笔记

这是一篇CVPR17的文章，最近发表在IJCV18上，空域上从给滤波器加mask的角度去抑制边界效应，和BACF的思路有不同，这个mask是通过前景背景的颜色直方图构建的，另一点该算法也考虑了不同通道滤波器的重要性，即同时考虑空间可靠性和通道可靠性的跟踪算法(CSR)，本质还是DCF的框架。? 论文地址，? 项目地址，欢迎与我讨论~

1.主要贡献

1.利用前景背景的颜色模型构建了mask矩阵用于对滤波器的空域限制，并给出了求解方法；
2.利用不同通道的响应图信息构建了不同通道的加权系数，即通道的可靠性系数；
3.性能在OTB很烂但是VOT上十分惊人，怀疑是颜色模型mask对复杂背景和形变目标有奇效。

2.给CF加上空域限制

2.1 空间可靠性图

首先看一下原始的CF跟踪目标函数

一般如果给定样本(这里记号是f)是循环的就可以用第二行的频域目标函数，从而快速求解滤波器h，这样也会带来边界效应的问题，线性空间下很明显h边缘的部分可信度不高，这是由于循环样本导致的，所以像SRDCF便会对h进行限制，加上倒高斯的权重，或者像BACF直接用真实样本然后加上mask只有中间部分有值边缘都是0，这两个都是规则的以目标为中心的限制，没有针对具体的目标，所以这个工作作者考虑加上一个和目标有关的不规则mask来限制边界效应。
作者从概率模型的角度出发，认为mask和每一个特征点的信息x和目标的外观y有关，写出条件概率形式如下，并用贝叶斯公式展开

可以看到后面有三项，第一项是外观模型似然值，作者用了前景背景的颜色直方图表示，第三项可以看作一个先验概率，根据提取的前景背景模型的size来决定。第二项表示高可靠性区域的位置的概率，很直观的靠近目标中间的部分概率大，其他概率很小，作者直接搞了一个先验根据离目标中心距离决定，$p(x|m=1)=k(x;\sigma )$，是一个Epanechnikov核函数即$k(r;\sigma )=1-(r/\sigma {)}^2$。具体来说第一项作者会先统计前景和背景的颜色直方图，之所以分开算是因为前景部分会有Epanechnikov核(和第二项不重复)的权重，中心最大，即直方图统计时落在某个bin内，则加这个权重而不是加1，背景部分只是加1。前景背景也是通过目标框硬分的。这样统计的结果就是目标中心区域的颜色在直方图上值很高，远离目标中心的区域只要颜色和中心类似那么值也会很高，挺有意思的，这样再计算出每一个像素点在直方图上的值即得到backproject矩阵(可视化为下面第三幅图)，这个矩阵直接乘上第二项位置先验概率矩阵(可视化为下面第二幅图)就得到似然矩阵，第三项的先验概率和size有关，作者设背景与前景的概率比是1.6:1/(1.6+1)，那么由前景背景的似然矩阵和全概率公式可以得到前景和背景的后验概率，这里我们仅需要前景的后验概率矩阵(可视化为下面第四幅图)，二值化后即我们需要的mask矩阵，由于是线性CF，mask点乘h和f是一样的，看看点乘f的效果(下面第五幅图)，明显只显示出来目标的区域，所以这样操作mask会根据目标改变自适应形状同时能很好的抑制边界效应，感觉利用了目标分割的思想，可以深挖。

2.2加上空间限制后的目标函数及求解

mask每一帧都会提前计算好，求解限制目标函数的时候当作常量，这个限制即$h_c-m\odot h\equiv 0$，和BACF一样都用增广拉格朗日的方法，略有不同，在正则项只考虑了加上mask之后的h，即$h_m$，后面的一阶增广部分只考虑实数部分，增广的复数乘子是一个和h一样size的向量。

求解思路和一般方法一样使用ADMM方法，具体的推导过程参考?补充材料

所有的计算都在频域进行避免求逆，快速求解。

3. 再加上通道可信度

这部分就比较简单，2.2节中都是单通道的求解，作者需要的滤波器通道数和特征通道一样，因为作者设计的算法是按通道独立的，当然空域mask是共享的，最后检测计算响应也是各通道分布算个响应加起来，然而每个通道的重要性是不一样的，有必要对每个通道加权，这里考虑给滤波器h加权。作者认为这个权重应该由两项乘积构成，分别为学习可靠性和检测可靠性。

3.1学习可靠性

每个通道的学习部分的响应计算很简单，即$f_d$和$h_d$的点乘，直观上，响应越大可靠性越大，所以这个可靠性权重如下表示

3.2检测可靠性

就是在检测阶段的可靠性，和h点乘的是当前检测帧的特征，得到一个响应map，在MOSSE论文中提到PSR(峰值旁瓣比)作为衡量检测跟丢的标准，所以这里计算次峰值和主峰值之比，很好理解，比值越小，响应图越干净，跟踪效果越好，那么可靠性越高，所以作者根据这个设计，再考虑一些特殊情况，设计如下
$w_d^{(det)}=1-min({\rho }_{max2}/{\rho }_{max1},\frac{1}{2})$

4.实验

前景背景的颜色直方图是在HSV空间计算的，图像特征只用了HOG和CN，尺度估计用的DSST，matlab实现整体速度13fps。实验结果在OTB和VOT反差很大，OTB上不如SRDCF，VOT上秒CCOT。


为什么反差这么大，目前认为可能是库的原因，作者也做了实验发现CSR-DCF对VOT那种带旋转的groundturth的初始化更好，有时间把公布的代码跑一遍VOT看看原因。