k-means推导和python实现

---

一、算法流程

首先有2点需要注意：

1. k-means和 k-nn(k邻近法) 是不一样的，不要混淆。
2. k-means本身理解起来不难，讲这个是为了引出后面的EM算法，两者有共通之处。

算法流程如下所示，这里以$k=3$, 数据维数$D=2$, 数据样本个数$N=500$为例：

1. 给定K个聚类中心，用 $\mu$ 来表示， 并且适当进行初始化

2. 现在对于给定的$\mu =({\mu }_1,{\mu }_2,{\mu }_3)$, 找出500个样本数据中距离${\mu }_k$最近的一批数据标注为类别$k$

3. 对于属于k类的所有数据进行求平均，将这个平均值作为新的${\mu }_k$使用，同时也得到新的$\mu =({\mu }_1,{\mu }_2,{\mu }_3)$

4. 对比更新前后的$\mu$值，如果其差量收束的话停止更新，否则重复第2步

二、推导

• $x$: $D$维的数据
• X = { x 1 , x 2 , . . , x N } X = \{x_1, x_2, .., x_N\} X={ x1​,x2​,..,xN​}: $N$个数据样本
• $K$: 聚类数，已知
• ${\mu }_k(k=1,2,..,K)$: $D$ 维的聚类中心(centriod)
• $r_{nk}$: 第$n$个样本属于$k$类的话该值为1，否则为0

损失函数定义如下：
J = ∑ n = 1 N ∑ k = 1 K r n k ∣ ∣ x n − μ k ∣ ∣ 2 J = \sum_{n=1}^{N}\sum_{k=1}^{K}r_{nk}||x_n-\mu_k||^2 J=n=1∑N​k=1∑K​rnk​∣∣x