聚类算法大杂烩

1. 思维导图

---

2. 基本概念和使用场景

2.1 什么是“聚类”？

聚类是一种“无监督的学习”，即不需要通过标记训练样本，算法自身样本划分为若干个不相交的子集，每个子集称为一个“簇”。
试想一个这样的场景，A在整理书柜，他按照一定准则（使用频率、颜色、种类）划分归类书籍的过程，就是一个聚类的过程。

正式一点说：

2.2 聚类的使用

1. 作为一个单独的过程，寻找数据内在的分布结构。
2. 作为分类等其他学习任务的前驱过程。

2.3 性能度量（有效性指标）

最完美的情况下，簇内的数据相似度尽可能的高，簇间的数据相似度尽可能的低。

评价一个聚类结果的好坏，有一下两种方法：

1. 外部指标：将聚类结果与参考模型进行比较，跟做完作业对答案差不多。
2. 内部指标：直接考察聚类结果。

2.3.1 外部指标衡量法

2.3.1.1 簇内结果的衡量标准

样本间距离的计算

首先将样本两两组合配对，记为$x_i,x_j$，那么总共有$\left(\genfrac{}{}{0ex}{}{m}{2}\right)$种取法。在对答案的过程中，无非会出现以下四种情况：

1. 两样本分在一起了
2. 按照聚类模型的分法，$x_i,x_j$在一起了，但是按照参考模型的分法，$x_i,x_j$未在一起。
3. 按照聚类模型的分法，$x_i,x_j$没在一起，但是按照参考模型的分法，$x_i,x_j$在一起了。
4. 按照聚类模型的分法，$x_i,x_j$没在一起，按照参考模型的分法，$x_i,x_j$也未在一起。

上述四种情况分别对应于：

所以，有$a+b+c+d=\left(\genfrac{}{}{0ex}{}{m}{2}\right)$成立。

样本间聚类结果的衡量标准

• Jaccard系数(Jaccard Coefficient, JC)
  $$JC=\frac{a}{a+b+c}\text{\hspace{1em}(2.1)}$$

• FM指数(Fowlkes and Mallows Index, FMI)
  $$JC=\sqrt{\frac{a}{a+b}\frac{a}{a+c}}\text{\hspace{1em}(2.2)}$$

• Rand指数(Rand Index, RI)
  $$JC=\frac{2(a+d)}{m(m-1)}\text{\hspace{1em}(2.3)}$$
  上述判定方法越大越好，且取值在$[0,1]$之间。

2.3.1.2 簇间的衡量标准

簇间距离的计算

• 第$u$个簇中样本的数量：$|C_u|$
• 该簇内所构成的样本对的数量：$\left(\genfrac{}{}{0ex}{}{|C_u|}{2}\right)$；
• 样本之间的距离公式：$dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})$

1. 簇内样本间的平均距离：将该簇内的样本两两组合，所构成的样本对的数量。
   $$\begin{array}{rl}Avg(|C_p|)& =\frac{{\sum }_{1\le i\le j\le |C_u|}dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})}{\left(\genfrac{}{}{0ex}{}{|C_u|}{2}\right)}\\ & =\frac{2}{|C_u|(|C_u|-1)}\sum _{1\le i\le j\le |C_u|}dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\end{array}\text{\hspace{1em}(2.4)}$$

• 簇内样本之间最远距离
  $$\begin{array}{r}diam(|C_u|)=\underset{1\le i\le j\le |C_u|}{\max }dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\end{array}\text{\hspace{1em}(2.5)}$$
• 两个簇之间最近样本间的距离
  $$\begin{array}{r}{d}_{min}(|C_u|,|C_v|)=\underset{{\mathbf{x}}_{\mathbf{u}}\in |C_u|,{\mathbf{x}}_{\mathbf{v}}\in |C_v|}{\min }dist({\mathbf{x}}_{\mathbf{u}},{\mathbf{x}}_{\mathbf{v}})\end{array}\text{\hspace{1em}(2.6)}$$
• 两个簇中心点间的距离
  $$\begin{array}{r}{d}_{cen}(|C_u|,|C_v|)=dist({\mu }_u,{\mu }_v)\end{array}\text{\hspace{1em}(2.7)}$$
  其中：
  $$\begin{gathered} {\mu }_u=\frac{1}{|C_u|}\sum _{1\le u\le |C_u|}{\mathbf{x}}_{\mathbf{u}} \\ {\mu }_v=\frac{1}{|C_v|}\sum _{1\le v\le |C_v|}{\mathbf{x}}_{\mathbf{v}} \end{gathered}$$

簇间聚类结果的衡量标准

• DB指数(Davies-Bouldin Index, DBI) ：值越小越好。
  $$DBI=\frac{1}{k}\sum _{i=1}^k\underset{i\ne j}{\max }(\frac{Acg(|C_i|)+Avg(|C_j|)}{d_{cen}(|C_i|,|C_j|)})\text{\hspace{1em}(2.8)}$$

  • $k$：聚类的种类数目。

• Dunn指数(Dunn Index, DI)：值越大越好。
  D I = min ⁡ 1 ≤ i ≤ k { min ⁡ j ≠ i d m i n ( C i , C j ) max ⁡ 1 ≤ l ≤ k d i a m ( C l ) } (2.9) DI=\min_{1 \leq i \leq k} \{\min_{j \neq i}\frac{d_{min}(C_i, C_j)}{\max_{1 \leq l \leq k}diam(C_l)}\} \tag{2.9} DI=1≤i≤kmin​{j​=imin​max1≤l≤k​diam(Cl​)dmin​(Ci​,Cj​)​}(2.9)

2.3.1.3 距离的计算

对于函数$dist$，满足四个性质：

1. 非负性：$dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})>0$
2. 同一性：$dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=0,{\mathbf{x}}_{\mathbf{i}}={\mathbf{x}}_{\mathbf{j}}$
3. 对称性：$dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})=dist({\mathbf{x}}_{\mathbf{j}},{\mathbf{x}}_{\mathbf{i}})$
4. 直递性：$dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{j}})\le dist({\mathbf{x}}_{\mathbf{i}},{\mathbf{x}}_{\mathbf{k}})+dist({\mathbf{x}}_{\mathbf{k}},{\mathbf{x}}_{\mathbf{j}})$（不一定要满足，人、马、人马关系图）

计算公式：

• 有序数据： 能够通过数字表达远近关系的属性。

  • 计算方法：
    

• 无序数据： 不能够通过数字表达远近关系的属性。 X = { w h i t e , b l u e , r e d } X=\{white, blue, red\} X={white,blue,red}。

  • 计算方法： VDM(Value Difference Metric)
    
    

• 有序+无序数据：

  • 计算方法：
    

3. 聚类算法

3.1 原型聚类

3.1.1 K均值算法

KMeans算法及其实现

3.1.2 学习向量量化

学习向量量化算法及其实现

3.1.3 高斯混合聚类

EM算法与高斯混合聚类（一）
EM算法与高斯混合聚类（二）

3.2 密度聚类

3.3 层次聚类

---

4. 参考文献

• 《西瓜书》