Robust Scale-Adaptive Mean-Shift for Tracking_scale adaptive mean shift for tracking-CSDN博客

Fukunaga和Hostetler[4]的均值偏移（MS）算法是密度函数的一种非参数模式搜索方法。Comaniciu等人[3]将其引入计算机视觉。他提出将其用于物体跟踪。MS算法通过最小化由目标和目标候选直方图表示的两个概率密度函数（pdfs）之间的距离来进行跟踪。由于直方图距离（或等效地，相似性）不取决于搜索窗口内的空间结构，因此该方法适用于可变形和铰接对象。

(6条消息) 基于MeanShift的目标跟踪算法及实现_meanshift算法实现_taotao1233的博客-CSDN博客

(6条消息) 简述Mean shift 算法及其实现_BryantJD的博客-CSDN博客

(6条消息) 【论文翻译】Mean Shift: A Robust Approach toward Feature Space Analysis_大数据机器学习实验室的博客-CSDN博客

ASMS:

(7条消息) Tracking算法学习之mean-shift——Robust Scale-Adaptive Mean-Shift for Tracking_没有头像的宝宝的博客-CSDN博客 GitHub - vojirt/asms: Scale adaptive mean-shift tracker

【 Robust Scale-Adaptive Mean-Shift for Tracking】论文阅读笔记

背景：基于均值偏移的目标跟踪

针对问题：背景杂波存在的情况下，解决尺度自适应问题。

（若目标的尺度改变，则Meanshift算法性能会由于使用固定大小的窗口而受到影响。当被跟踪对象的投影变得更大时，对象上的一些像素不包括在搜索窗口中，并且相似性函数通常具有许多局部最大值，导致定位变得较差；当目标对象变小时，内核窗口会包含背景杂波，会导致跟踪失败。）

创新：提出了一种新的理论上合理的尺度估计机制，该机制仅依赖于Hellinger距离的均值偏移过程。

（1）第一种是一种新的直方图颜色加权，它利用对象邻域来帮助区分目标，称为背景比加权（BRW）。BRW总体上提高了类MS跟踪方法的性能。
（2）第二种改进通过引入前向-后向一致性检查和采用正则化项来解决两个主要问题：背景杂波引起的尺度扩展和自相似对象上的尺度内爆，从而提高了所提出的尺度估计的跟踪器的性能。

主要工作：

1. 具有标度估计的均值偏移跟踪器

1.1 MS 基于标准内核的对象跟踪

（1）目标模型描述

首先通过人工标注的方式在初始帧确定包含跟踪目标的ROI区域，对选中区域的灰度颜色区域进行均匀划分，得到m个相等区间构成的直方图，则在标准均值偏移跟踪中，目标被建模为位于原点的特征空间中的m-bin核估计直方图，则目标模型的u∈{1,2,...m}特征概率密度可表示为：

${x_{i}^{*}}, i=1,2..n$ 表示为以原点为中心的目标的像素位置，（即目标至中心的归一化距离），n是目标的像素数；其中u=1,2,...m.是直方图的区间索引；c是归一化系数，以确保 $\sum_{u=1}^{m}q_{u}=1$ ；k是核函数；函数 $b:R^{2}\rightarrow 1$ 将位于位置xi的像素的值映射至特征空间中对应bin直方图区间的索引值u， $\delta$ 判断目标区域的像素xi的灰度值是否属于直方图的第u个单元。

（2）候选模型描述

下一帧中位置y处的目标候选区域的直方图描述，及其特征u∈{1,2,...m}的特征概率密度可表示为：

其中， ${x_{i}}, i=1,2..n$ 是当前帧中以位置y作为中心的目标候选区域的像素位置；Ch是归一化系数，以确保 $\sum_{u=1}^{m}p_{u}=1$ ,nh是目标候选区域的像素数；h表示核函数的尺度参数（带宽），其余同目标模型。

（3）相似性度量

目标模型和候选模型的概率分布的相似性是通过Hellinger距离来度量的，将前一帧中寻找使得相似函数最大的候选区域，即是本帧中目标区域。

其中， $\rho$ 是候选模型 $\hat{p}$ 和目标模型 $\hat{q}$ 的Bhattacharyya（巴塔查理亚）系数，最小化Hellinger距离，即相当于最大化Bhattacharyya系数。Bhattacharyya系数的展开式如下：

在相似函数的展开式中，只有第二项随着y变化，根据前面对概率密度函数的梯度推导，其极大化过程可通过候选区域中心向真实区域中心的Meanshift迭代方程完成。当前帧中新目标位置y1的搜索从上一帧中目标区域的位置y0开始，使用梯度上升，步长由均值偏移法确定，迭代实现。

其中， $g(x)=-{k(x)}'$ .

(为什么这里梯度上升法最大化Bhattacharyya系数的过程等价于MS均值偏移过程，如下，详见meanshift推导啊：

）

1.2 尺度（核函数带宽）估计

假设目标尺度是以各向同性的方式逐帧变化的。图像中的目标区域由椭圆

表示，则目标模型和候选模型区域中特征u∈{1,2,...m}的概率密度表示为：

参数h定义目标候选的尺度，从而定义核函数的具有非零值的像素的数量。对于给定的内核和变量h；Ch可以用以下方式近似：设n1为目标模型的椭球区域中的像素数，设nh为标度为h的目标候选者的椭球区域内的像素数；那么。利用黎曼积分的定义，我们得到：

因此，使用上面对Ch在h0的某个邻域中的近似，我们可得到关于目标区域和候选区域的度量：

因此，为了最小化Hellinger距离，最大化Bhattacharyya系数；使用梯度方法对上式进行最大化。（该程序的基本思想与Mean shift相同）。

1.3 背景比加权 BRW（Background ration weighting）

我们定义背景比加权BRW，并通过最大化BRW 来取代目标区域与候选区域的Bhattacharyya系数的最大化，BRW定义如下：

其中，分子为目标和候选区域的Bhattacharyya系数，分母为目标候选区域与背景的Bhattacharyya系数， $\hat{bg}$ 表示第一帧中计算的背景直方图模型。

我们使用梯度上升方法最大化log(R)，我们使用以下公式，将权重wi更改为权重 $w_{i}^{bg}$ :

其中，max运算符将wi定义为非负值，在非负权值作用下，meanshift保持收敛。

2.跟踪算法

2.1 MSs算法

将尺度估计引入均值偏移过程揭示了两个问题：首先，当位置和尺度估计不精确时，MS行为存在差异。虽然位置误差通常在均值偏移迭代过程中稍后进行校正，但在非平凡背景存在的情况下，尺度估计误差没有“自我校正”能力。其次，自相似对象的尺度模糊通常会导致对尺度的低估和跟踪失败。

为了解决这个问题并使跟踪更加鲁棒，我们提出了一种具有正则化尺度估计的均值偏移算法。算法中1总结了该算法，表示为MSs。

除了尺度更新步骤之外，该算法的结构类似于标准均值偏移算法。在比例更新步骤中引入了两个正则化术语。

（1）第一项rs反映了我们先前的假设，即目标规模不会发生显著变化；因此，根据等式，尺度的变化会受到如下惩罚：

其中，h是比例因子，并且函数的绝对值受常数b2的限制。

（2）第二项rb通过强制搜索窗口包括背景像素的一部分来解决尺度模糊的问题。换句话说，从可能的尺度范围（由对象自相似性产生）来看，引入了对最大尺度的轻微偏差。rb函数由等式定义：

其中，(y,h)是位置和尺度因子；Q定义应该包含在搜索窗口中的加权背景像素的百分比；函数响应位于区间（-b1，b1）。加权背景像素的百分比计算如下：

2.2 ASMS 算法

MSs算法适用于具有尺度变化的序列，但对于没有尺度变化或具有显著背景杂波的序列，该算法倾向于估计非零尺度，这可能导致不正确的尺度估计的累积和跟踪失败。因此，我们采用了一种技术来验证估计的尺度变化：向后尺度一致性检查。
反向检查使用从通过正向跟踪获得的位置yt的反向跟踪，并验证从步骤t-1到t和从t到t-1的估计尺度。这种验证确保了在背景杂波存在的情况下，尺度估计不会“无边界”，并使跟踪器能够从错误的估计中恢复。我们称之为自适应尺度平均偏移（ASMS），见算法2：

在检测到尺度不一致的情况下，对象大小s_t是三部分的加权组合：（i）先前的大小s_(t-1)；（ii）新的估计规模h；（iii）“默认”大小s_default（在我们的情况下是对象的初始大小）。这种组合的参数α,β是在测试序列的子集上进行实验选择的，作为MS的规模适应性和标准均值偏移算法的稳定性之间的权衡。