K-means小记

K-means算法是聚类算法。即给定一个数据集，利用K-means算法可将其分为K类。

算法思想：

1. 随机从数据集中选取k个数据点作为k个分类的质心
2. 遍历其余所有数据点，对每个数据点作这样的操作：计算数据点到每个质心的欧式距离，选取距离最小值的质心与其归为一类。这一步完成之后，得到的结果就是初始分类。
3. 重新计算每个分类的质心。一般是按维度来计算均值。
   

4. 对于重新得到的质心，运行第二步操作。
   

5. 不断重复2，3直到收敛。

那么如何确定算法是不是收敛呢。应该也是一个cost函数优化问题。

 参数c是分类的标签，类别1,类别2,类别三3...，第二个参数是每一类的质心所在坐标。J所求就是每个样本到它的质心的距离平方和。K-means的优化利用的是EM思想。固定质心，改变样本标签c来减小j，固定标签c，改变质心来减小J。

用专业一些的话来说，E步估计隐含类别y的期望值，M步调整其他参数使得在给定类别c的情况下，极大似然估计P(x,c)最大。

极大似然的概念，我总忘，可能是因为一开始就没有理解好。

这里记录一个博客地址：http://blog.csdn.net/zouxy09/article/details/8537620当时看EM算法的时候看到的，里面讲解了极大似然的概念，通俗易懂。

那么在K-means里，这个极大似然估计是怎么样的。

 在男生女生的例子中，我们的未知参数假设为在学校中男生比例为p，假如男生出现30次女生出现70次，那么也就是求p^30×(1-p)^70的最大值。这是它的似然函数。我们只需要求导就能得到使得似然函数达到最大的p值。

 那么在K-means中，那么这里的未知参数应该是c的坐标。然后求J的最小值，这就是EM算法的一种体现。不应该拘泥于它的具体形式。

K-means的主要应用：

第一个想到的是对淘宝用户数据进行聚类，得出这个用户属于哪个分类，然后进行针对性的推荐？感觉这个只是聚类而已，不一定要用到K-means吧。略微搜了一下，没有搜到“K-means算法的应用场景”之类的相关文章。

K-means的缺点：

 1.K-means对初始点很敏感，因为初始点是随机选择的，K-mean的收敛很有可能会陷入局部最优，这个的解决方案就是多次选取初始点多次实验吧。

 2.K-means需要提前设置k值，但是有时候我们不会知道那个数据可以分为几类。

K-means的python实现：http://blog.csdn.net/taoyanqi8932/article/details/53727841

参考了如下博客：http://blog.csdn.net/csqazwsxedc/article/details/52225759