meanShift 追踪算法

最新推荐文章于 2020-01-08 15:30:25 发布

angelfish91

最新推荐文章于 2020-01-08 15:30:25 发布

阅读量814

点赞数

分类专栏： opencv 文章标签：算法

本文链接：https://blog.csdn.net/angelfish91/article/details/61959632

版权

opencv 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

1.0 基本概念

meanShift,均值漂移，在聚类、图像平滑、分割、跟踪等方面有着广泛的应用。meanShift这个概念最早是由Fukunage在1975年提出的，其最初的含义正如其名：偏移的均值向量；但随着理论的发展，meanShift的含义已经发生了很多变化。如今，我们说的meanShift算法，一般是指一个迭代的步骤，即先算出当前点的偏移均值，然后以此为新的起始点，继续移动，直到满足一定的结束条件。在很长一段时间内，meanShift算法都没有得到足够的重视，直到1995年另一篇重要论文的发表。该论文的作者Yizong Cheng提出了两点改进：

定义了核函数；
增加了权重系数。

核函数的定义使得偏移值对偏移向量的贡献随之样本与被偏移点的距离的不同而不同。权重系数使得不同样本的权重不同。Mean Shift算法在聚类，图像平滑、分割以及视频跟踪等方面有广泛的应用。
meanShift算法其实是一种核密度估计算法，它将每个点移动到密度函数的局部极大值点处，即密度梯度为0的点，也叫做模式点。

2.0 opencv实现过程

meanShift算法利用概率密度的梯度爬升来寻找局部最优。它要做的就是输入一个在图像的范围，然后一直迭代（朝着重心迭代）直到满足你的要求为止。
在opencv中，进行meanshift其实很简单，输入一张图像（imgProb），再输入一个开始迭代的方框（windowIn）和一个迭代条件（criteria），输出的是迭代完成的位置（comp ）。
这是函数原型：
ret, track_window = cv2.meanShift(dst, track_window, term_crit)
其中dst为反向投影图：
dst = cv2.calcBackProject([frame],[0],roi_hist,[0,255],1)
什么是反向投影图？简单理解它其实实际上是一张概率密度图。经过反向投影时的输入是一个目标图像的直方图（也可以认为是目标图像），还一个输入是当前图像就是你要跟踪的全图，输出大小与全图一样大，它上像素点表征着一种概率，就是全图上这个点是目标图像一部分的概率。如果这个点越亮，就说明这个点属于物体的概率越大。现在我们明白了这原来是一张概率图了。当用meanshift跟踪时，输入的原来是这样一幅图像，那也不难怪它可以进行跟踪了。

2.1 反向投影

1.反向投影的作用是什么？
反向投影用于在输入图像（通常较大）中查找特定图像（通常较小或者仅1个像素，以下将其称为模板图像）最匹配的点或者区域，也就是定位模板图像出现在输入图像的位置。
2.反向投影如何查找（工作）？
查找的方式就是不断的在输入图像中切割跟模板图像大小一致的图像块，并用直方图对比的方式与模板图像进行比较。
假设我们有一张100x100的输入图像，有一张10x10的模板图像，查找的过程是这样的：
（1）从输入图像的左上角(0,0)开始，切割一块(0,0)至(10,10)的临时图像；
（2）生成临时图像的直方图；
（3）用临时图像的直方图和模板图像的直方图对比，对比结果记为c；
（4）直方图对比结果c，就是结果图像(0,0)处的像素值；
（5）切割输入图像从(0,1)至(10,11)的临时图像，对比直方图，并记录到结果图像；
（6）重复（1）～（5）步直到输入图像的右下角。
3.反向投影的结果是什么？
反向投影的结果包含了：以每个输入图像像素点为起点的直方图对比结果。可以把它看成是一个二维的浮点型数组，二维矩阵，或者单通道的浮点型图像。
4.特殊情况怎么样？
如果输入图像和模板图像一样大，那么反向投影相当于直方图对比。如果输入图像比模板图像还小，直接罢工～～。

2.2 跟踪思路

半自动跟踪思路：输入视频，用画笔圈出要跟踪的目标，然后对物体跟踪。
用过opencv的都知道，这其实是camshiftdemo的工作过程。
第一步：选中物体，记录你输入的方框和物体。
第二步：求出视频中有关物体的反向投影图。
第三步：根据反向投影图和输入的方框进行meanshift迭代，由于它是向重心移动，即向反向投影图中概率大的地方移动，所以始终会移动到目标上。
第四步：然后下一帧图像时用上一帧输出的方框来迭代即可。
全自动跟踪思路：输入视频，对运动物体进行跟踪。
第一步：运用运动检测算法将运动的物体与背景分割开来。
第二步：提取运动物体的轮廓，并从原图中获取运动图像的信息。
第三步：对这个信息进行反向投影，获取反向投影图。
第四步：根据反向投影图和物体的轮廓（也就是输入的方框）进行meanshift迭代，由于它是向重心移动，即向反向投影图中概率大的地方移动，所以始终会移动到物体上。
第五步：然后下一帧图像时用上一帧输出的方框来迭代即可。

3.0 meanshift 算法核心过程

对于Mean Shift算法，是一个迭代的步骤，即先算出当前点的偏移均值，将该点移动到此偏移均值，然后以此为新的起始点，继续移动，直到满足最终的条件。此过程可由下图的过程进行说明
步骤1：在指定的区域内计算偏移均值(如下图的黄色的圈)
这里写图片描述
步骤2：移动该点到偏移均值点处

步骤3：重复上述的过程(计算新的偏移均值，移动)