无监督学习 | KMeans与KMeans++原理

相关文章：

机器学习 | 目录

机器学习 | 聚类评估指标

机器学习 | 距离计算

无监督学习 | KMeans之Sklearn实现：电影评分聚类

无监督学习 | 层次聚类 之凝聚聚类原理及Sklearn实现

无监督学习 | DBSCAN 原理及Sklearn实现

无监督学习 | GMM 高斯混合聚类原理及Sklearn实现

1. 原型聚类

原型聚类亦称“基于原型的聚类”（prototypr-based clustering）。此类算法假设聚类结构能通过一组原型刻画，在现实聚类任务重及其常用。通常情形下，算法先对原型进行初始化，然后对原型进行迭代更新求解。采用不同的原型表示、不同的求解方式，将产生不同的算法，如 KMeans、LVQ、高斯混合。下面介绍 KMeans 算法，我们将在下一篇文章中介绍高斯混合算法。

“原型”是指样本空间具有代表性的点

1.1 KMeans

给定样本集 $D=x_1,x_2,\cdots ,x_m$，“$k$ 均值”（k-means）算法针对聚类所得簇划分 $C=C_1,C_2,\cdots ,C_k$ 最小化平方误差（残差平方和 $S_E$）：

$$E=\sum _{i=1}^k\sum _{x\in C_i}\Vert x-{\mu }_i{\Vert }_2^2\text{\hspace{1em}(1)}$$

其中 ${\mu }_i=\frac{}{|C_i|}$