K-均值算法 (K-Means Algorithm)

又名K-均值聚类算法 (K-Means Clustering Algorithm)，非监督式学习常用的聚类算法。

1. 实现

给定：
- 训练样本$\{x^{(1)},x^{(2)},...,x^{(m)}\},\ x^{(i)}\in\mathbb R^n$
- 分类数目$K$

随机初始化$K$个聚类中心 (Culster Centroids) $\mu_1,\mu_2,...,\mu_K\in\mathbb R^n$
重复以下两步：
1. 对$i=1$到$m$：$c^{(i)}=x^{(i)}$最接近的聚类中心所属类别（取值为1到K）
2. 对$j=1$到$K$：$\mu_k=$所有分配至此类别的$x^{(i)}$的平均值
直到结果收敛。

---

2. 应对局部最优

为尽量避免收敛结果为局部最优，可随机初始化多组聚类中心，从中选择使得Cost函数取值最小的一组。

Cost函数（Distortion函数）
$J(c^{(1)},...c^{(m)},\mu_1,...\mu_K)=\frac{1}{m}\sum\limits^m_{i=1}\|x^{(i)}-\mu_{c^{(i)}}\|^2$

---

3. K值选择

运用Elbow Method（不总是有效）或根据实际应用情境。