mean shift

参考：
http://blog.csdn.net/google19890102/article/details/51030884
http://www.cvvision.cn/5778.html
https://wenku.baidu.com/view/5862334827d3240c8447ef40.html
http://blog.csdn.net/qq_23968185/article/details/51804574
https://www.cnblogs.com/liqizhou/archive/2012/05/12/2497220.html
https://www.zhihu.com/question/27301358
https://www.zybang.com/question/3797fbcae06ac70f5071ff1ee42f23e2.html

1 mean shift 原始形式

mean shift介绍

mean shift是一种聚类算法，又称为均值漂移算法，在聚类，图像平滑、分割以及视频跟踪等方面有广泛的应用。Mean Shift的概念最早是由Fukunage在1975年提出的。

mean shift原始形式

原始形式为（1），其中x表示高维球形的球心，xi表示各个向量点，K表示落在高维球形中的向量点的个数。这个向量就是漂移向量，其中Sk指的是一个半径为h的高维球区域。也就是：。从公式（1）中也可以看出，原始的mean shift不过就是对球心内所有向量进行了合成，因为我们知道，最终的mean shift向量就是这些下图用黑线表示向量的和。就像力的合成一样，合力的方向由所有力的方向共同决定。
当我们求得Mh(x)以后，我们即对x进行更新（2），从而得到一个新的球心。在这个过程中，球心会一直向数据点集中的地方移动，换句话说球心会朝着数据集密度最大的方向移动。如此反复，最终球心x会收敛到一个固定值。

原始形式伪代码

该过程的伪代码可以表达成下面几句话，给大家一个整体认识该算法的角度。总得来说，该算法以每一个样本点作为窗口的中心点，再寻得最终中心点，最终中心点相同的样本点就是同一类。
重复移动直至收敛｛
对每一个数据点，固定一个窗口（数据范围）：
计算窗口内数据的中心；
移动窗口至新的中心
｝

用图像解释mean shift过程

我们用二维图像上的点来解释上面的过程。

首先我们选定初始点为蓝色点（圆心），然后定义h的长度，我们发现一旦h定义完毕之后，那么蓝色的圆也就确定了，我们利用公式（1）计算Mh(x)并利用此来更新圆心x，得到新的圆心即黑色点，然后以黑色点为圆心，h为半径确定一个新的圆，再利用公式（1）求Mh，……如此往复，最终圆心x会收敛在一个固定的值，也就是概率密度最大的地方。更多的图像来形象地表达上述文字，如下。
黄色箭头即为平均的偏移向量Mh(x)，指向样本分布最多的区域，也就是概率密度函数的梯度方向。
（1）初始化一个圆心蓝色点和h，计算出Mh(x)

(2)利用进行更新，形象地看就是蓝色点在黄色箭头方向上移动到了黄色点。

（3）将黄色点作为新的圆心，计算出新的Mh(x)，并更新圆心。

（4）如（3）同样的处理。

（5）最终圆心收敛到黄色点。

mean shift的基本思想就讲解完毕了。

时间复杂度

n 是样本点数， T 是迭代次数. 一般mean shift 在计算时间上开销很大，时间复杂度为，O(Tn^2)。

原始形式的不足

这样的一种原始形式的Mean Shift形式存在一个问题：在上面Mean Shift向量的计算过程中我们并没有考虑距离因素，即只要两个采样点在均值向量方向上的投影相等，则它们对Mean Shift向量计算的贡献就一样。从公式（1）我们也会发现，由于K是一个常数，所以每个向量的权重是一样的，即每一个点对圆心x的贡献是一样的。而实际上，这种贡献与x到每一个点xi之间的距离是相关的。

2 预备知识

核函数

核函数也叫窗口函数，在核估计中起到平滑的作用。常用的核函数有：Uniform，Epannechnikov，Gaussian等。下面是wiki上核函数的定义（截图别人的blog，感谢作者）

核密度估计

核密度估计是一种通过非参数估计来估计变量的概率密度函数的方法，通常也被称为是Parzen窗技术。对于一维的密度函数的核密度估计公式为，，扩展到d维下的密度函数的估计用核密度估计时就为，d为x的维数，h是窗口大小。

3 mean shift改进

再后来由Yizong Cheng对其进行扩充，主要提出了两点的改进：
1)定义了核函数；
2)增加了权重系数。
具体地说，核函数的定义使得偏移值对偏移向量的贡献随之样本与被偏移点的距离的不同而不同。权重系数使得不同样本的权重不同。所以Mean Shift中引入kernel的初衷是：随着样本与被偏移点的距离不同,其偏移量对Mean Shift向量的贡献也不同。我们先来看看核函数的定义。

带有核函数的公式

在原始的mean shift加入核函数，meanshift算法变为（3.1），其中参数的意思为K()表示核函数，h为半径，为单位密度，如果想（3.1）中的f得到最大值，我们可想到的方法就是对公式（3.1）求导。得到（3.2）
令g(x) = - k’(x);k(x)叫做g(x)的影子核，名字听上去听深奥的，也就是求导的负方向，那么上式可以表为
（3.3）
公式（3.3）中的第二项为meanshift向量，即；要使得公式（3.3）为0，当且仅当，此时求出新的中心点坐标为（3.4）

meanshift算法流程

1. 选择空间中x为圆心，以h为半径为半径，做一个高维球，落在所有球内的所有点xi
2. 计算，如果<ε(人工设定)，推出程序。如果>ε, 则利用（3.4）计算x，返回1.