机器学习： K-means 聚类

今天介绍机器学习里常见的一种无监督聚类算法，K-means。我们先来考虑在一个高维空间的一组数据集，S={x1,x2,...,xN}S={x1,x2,...,xN}， x∈RDx∈RD，假设我们需要把这组数据聚集长 KK 类，不失一般性，我们可以假设每个聚好的类都有一个中心 μkμk，如果聚类完成的话，那么数据集中的每一个点 xx 会有一个中心 μkμk 离这个点的距离最近。可以构造一个变量 rnk={0,1}rnk={0,1} 表示变量 xx 离第 kk 类最近 rnk=1rnk=1，离其他的类更远 rnj=0,j≠krnj=0,j≠k，那么我们可以定义如下的目标函数：

J=∑n=1N∑k=1Krnk||xn−μk||2J=∑n=1N∑k=1Krnk||xn−μk||2

这个目标函数就是要求 rnk,μkrnk,μk，使得目标函数 JJ 的值最小。

为了解决上面这个问题，因为要同时求 rnk,μkrnk,μk 两个变量，所以我们会采取分步迭代的方法，当我们求 rnkrnk 可以让 μkμk 固定不动，当我们求 μkμk 的时候，可以让 rnkrnk 固定不动。

很显然，当我们求 rnkrnk，只有比较每一个 xnxn 与 μkμk 的距离，选择距离最近的一个类即可:

rnk=1if=argminj||xn−μj||2rnk=1if=arg⁡minj||xn−μj||2

而求 μkμk 的时候，我们可以 让 rnkrnk 固定不动， 对目标函数 JJ 求导，

2∑n=1Nrnk(xn−μk)=02∑n=1Nrnk(xn−μk)=0

从而我们可以求得 μkμk :

μk=∑nrnkxn∑nrnkμk=∑nrnkxn∑nrnk

通过这样的反复迭代，直到所有的 rnk,μkrnk,μk 都不再变化。

转载于:https://www.cnblogs.com/mtcnn/p/9412103.html