机器学习算法（一）：聚类算法

聚类算法

聚类算法是属于无监督学习算法中非常常用的一种。算法使用的训练数据中的标签信息是未知的，目标是通过对无标记的训练样本的学习来揭示内在的性质和规律。聚类过程能够自动地形成簇结构，但是簇对应的概念语意需要由使用者来决定。聚类既能作为一个单独的过程，用于寻找数据的内在分布结构，也可以作为分类等其他学习任务的前驱过程。

性能度量

对于任何一个算法，我们都需要有一个性能指标来衡量算法结果的优劣。之前已经有一篇博客介绍了性能度量这一问题，那更多的是对于监督学习算法而言。对于聚类问题来说，有其相对独立的性能度量指标。

聚类是将数据集D划分为若干个互不相交的子集。直观上看，我们希望『物以类聚』，即同一簇的样本尽可能彼此相似，不同簇的样本尽可能不同。换言之，聚类结果的『簇内相似度』高且『簇间相似度』低。

聚类性能度量大致有两类。一类是将聚类结果与某个『参考模型』进行比较，称为『外部指标』；另一类是直接考察聚类结果而不利用任何参考模型，称为『内部指标』。

外部指标

对数据集D，假定通过聚类给出的簇划分为$C = \{C_1, C_2,..., C_k\}$，参考模型给出的簇划分为$C^* = \{C_1^*, C_2^*,..., C_s^*\}$。令$\lambda$与$\lambda^*$分别表示$C$与$C^*$对应簇的簇心向量。将样本两两配对考虑，定义：

$$a = |SS|, SS = \{(x_i, x_j) | \lambda_i = \lambda_j, \lambda_i^* = \lambda_j^*, i < j\}$$

$$b = |SD|, SD = \{(x_i, x_j) | \lambda_i = \lambda_j, \lambda_i^* \neq \lambda_j^*, i < j\}$$

$$c = |DS|, DS = \{(x_i, x_j) | \lambda_i \neq \lambda_j, \lambda_i^* = \lambda_j^*, i < j\}$$

$$d = |DD|, DD = \{(x_i, x_j) | \lambda_i \neq \lambda_j, \lambda_i^* \neq \lambda_j^*, i < j\}$$

其中集合SS包含了在$C$中隶属与相同簇且在$C^*$中也隶属于相同簇的样本对，集合SD包含了在$C$中隶属于相同簇但在$C^*$中隶属于不同簇的样本对。其他集合的含义可以类推得到。

基于以上集合，有下面这些常用的聚类性能度量外部指标：

Jaccard系数：

$$JC = \frac{a}{a + b + c}$$

FM指数（Fowlkes and Mallows Index）：

$$FMI = \sqrt [2]{(\frac{a}{a + b} \cdot \frac{a}{a + c})}$$

Rand指数：

$$RI = \frac{2(a + d)}{m(m - 1)}$$

上述性能度量的结果均在$[0, 1]$区间内，只越大越好。

内部指标

考虑聚类结果的簇划分$C = \{C_1, C_2,..., C_k\}$，定义以下符号：

$$avg(C) = \frac{2}{|C|(|C| - 1)} \sum_{1 \leq i < j \leq |C|} dist(x_i, x_j)$$

diam(C)=max1≤i<j≤|C|dist(xi,xj)