机器学习——聚类算法总结(一)

机器学习——聚类算法总结(一)

1 聚类算法介绍

1.1、基本形式描述

聚类算法是无监督学习的一个重要的应用方向，聚类算法将样本集中的样本划分成若干个不想交的子集，每个子集称为一个“簇”，通过这样的划分，每个簇可能对应于一些潜在的类别。需要说明的是这些分类事先是未知的，聚类仅仅能够自动的形成簇，但是簇对应的概念语义需要我们自己来命名和理解。

聚类算法的一般形式为：

1. 给定样本集$D=[X_1,X_2,...,X_m]$，D中包含m个没有标签的样本。
2. 每一个样本$X_i$的形式为$[X_{i1},X_{i2},....X_{in}]$也就是每一个样本包含n个特征。
3. 聚类算法将样本集合D划分成k个不同的簇，表示为$C_1=[X_1,X_2,...X_k]$∪$C_2=[X_{k+1},....X_{k+i}]$∪$C_3$,…∪$C_k$。并且有$C_1\cap C_2\cap C_3,...\cap C_k=\varnothing$，我们自定义一个簇的表示为${\lambda }_i$，则将所有的簇的表示可以描述为：$[{\lambda }_1,{\lambda }_2,...{\lambda }_k]$。

1.2 聚类的性能度量

聚类的性能度量方法主要可以分成两个类别，第一个类别是将聚类的结果和某一个“参考模型”进行比较，这称为是外部指标，另外一种方式是直接比较聚类的结果，而不去参考其他模型的结果。这称为是内部指标。

1.2.1 外部指标的性能度量

假设，我们采用聚类算法划分出来的簇为$[C_1,C_2,..,C_k]$，而参考模型的聚类结果为$[C_1^{\ast },C_2^{\ast },C_3^{\ast },.....C_s^{\ast }]$，同样，我们采用${\lambda }_i$和${\lambda }_i^{\ast }$作为聚类结果中第i个簇的表示，用${\lambda }_i^{\ast }$作为参考模型中第i个簇的表示。下面定义一些计算为：

1. a = ∣ S S ∣ ， S S = { ( X i , X j ) ∣ X i ∈ λ i , X j ∈ λ i , X i ∈ λ i ∗ , X j ∈ λ i ∗ , i < j } a=|SS|，SS=\{(X_i,X_j)|X_i∈λ_i,X_j∈λ_i,X_i∈λ_i^*,X_j∈λ_i^*,i<j\} a=∣SS∣，SS={(Xi​,Xj​)∣Xi​∈λi​,Xj​∈λi​,Xi​∈λi∗​,Xj​∈λi∗​,i<j}
   简单的解释以下就是，SS表示的是$X_i,X_j$无论是在聚类结果还是参考模型中都属于一个簇的样本集合。
2. b = ∣ S D ∣ ， S D = { ( X i , X j ) ∣ X i ∈ λ i , X j ∈ λ i , X i ∈ λ i ∗ , X j ∉ λ i ∗ , i < j } b=|SD|，SD=\{(X_i,X_j)|X_i∈λ_i,X_j∈λ_i,X_i∈λ_i^*,X_j∉λ_i^*,i<j\} b=∣SD∣，SD={(Xi​,Xj​)∣Xi​∈λi​,Xj​∈λi​,Xi​∈λi∗​,Xj​∈/​λi∗​,i<j}
   简单的解释一下就是，SD表示$X_i,X_j$在聚类结果中同一个簇，但是在参考模型中不属于一个簇的样本集合。
3. c = ∣ D S ∣ ， D S = { D S } ， D S = { ( X i , X j ) ∣ X i ∈ λ i , X j ∉ λ i , X i ∈ λ i ∗ , X j ∈ λ i ∗ , i < j } c=|DS|，DS=\{DS\}，DS=\{(X_i,X_j)|X_i∈λ_i,X_j∉λ_i,X_i∈λ_i^*,X_j∈λ_i^*,i<j\} c=∣DS∣，DS={DS}，DS={(Xi​,Xj​)∣Xi​∈λi​,Xj​∈/​λi​,Xi​∈λi∗​,Xj​∈λi∗​,i<j}
   DS表示$X_i,X_j$在聚类结果中不属于一个簇，但是在参考模型中属于一个簇的样本集合。
4. d = ∣ D D ∣ ， D D = { ( X i , X j ) ∣ X i ∈ λ i , X j ∉ λ i , X i ∈ λ i ∗ , X j ∉ λ i ∗ , i < j } d=|DD|，DD=\{(X_i,X_j)|X_i∈λ_i,X_j∉λ_i,X_i∈λ_i^*,X_j∉λ_i^*,i<j\} d=∣DD∣，DD={(Xi​,Xj​)∣Xi​∈λi​,Xj​∈/​λi​,Xi​∈λi∗​,Xj​∈/​λi∗​,i<j}
   DD表示的是在聚类结果中属于同一个簇，在参考模型中也不属于一个簇的样本集合。

由于，每一个样本只能属于一个簇，所以有$a+b+c+d=\frac{m(m-1)}{2}$
外部指标1：Jaccard 系数：
$$JC=\frac{a}{a+b+c}$$
外部指标2：FMI指数：
$$FMI=\sqrt{\frac{a}{a+b}\ast \frac{a}{a+c}}$$
外部指标3：Rand指数：
$$RI=\frac{2(a+d)}{m(m-1)}$$
对于上面的指标，值越大聚类的效果就越好。

1.2.2 内部指标度量

对于聚类生成的结果，定义如下几个公式：
$$avg(C_i)=\frac{2}{|C_i|(|C_i|-1)}\sum _{1\le i<j\le |C_i|}dist(X_i,X_j)$$
其中dist用于计算的是不同的两个样本$X_i,X_j$之间的距离，$avg(C_i)$表示计算簇$C_i$下面的样本的之间的距离的平均值。
$$diam(C_i)=ma{x}_{1\le i<j\le |C|}dist(X_i,X_j)$$
$diam(C_i)$表示簇$C_i$下面所有样本中距离最大的两个样本之间的距离值。
$$d_{min}(C_i,C_j)=mi{n}_{X_i\in C_i,X_j\in C_j}dist(X_i,X_j)$$
$d_{min}(C_i,C_j)$表示两个簇之间的样本的最小距离。
$$d_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j)$$
$d_{cen}(C_i,C_j)$表示两个簇之间的中心点之间的距离，${\mu }_i$表示第i个簇的中心点。
$${\mu }_i=\frac{1}{C_i}\sum _{i=1}^{|C_i|}{X}_i，X_i\in |C|$$

内部指标1：DB 系数
$$DBI=\frac{1}{k}\sum _{i=1}^{k}ma{x}_{j\ne i}(\frac{avg(C_i)+avg(C_j)}{d_{cen}(C_i,C_j)})$$
DBI指数就是不同簇内部距离的平均值和不同簇之间的距离的比值的求和。
内部指标2：Dunn指数
D I = m i n 1 ≤ i ≤ k { m i n j ≠ i d m i n ( C i , C j ) m a x 1 ≤ l ≤ k d i a m ( C l ) } DI = min_{1≤i≤k}\{min_{j≠i}\frac{d_{min}(C_i,C_j)}{max_{1≤l≤k}diam(C_l)}\} DI=min1≤i≤k​{minj​=i​max1≤l≤k​diam(Cl​)dmin​(Ci​,Cj​)​}

DBI指数越小越好，DI指数越大越好。

1.3 距离计算

对于上面的公式，我们可以发现，其基础在于dist距离的计算，其中最常见的距离计算为闵可夫斯基距离的计算。其基本公式为：
$$dis{t}_{mk}(X_i,X_j)=(\sum _{u=1}^n|X_{iu}-X_{ju}{|}^p{)}^{\frac{1}{p}}$$
其中，n表示样本的维度。

1. 当p等于1的时候，上述公式变成了：
   $$dis{t}_{mk}(X_i,X_j)=(\sum _{u=1}^n|X_{iu}-X_{ju}|)$$
   这种距离的计算方式称为曼哈顿距离。
2. 当p等于2的时候，上述公式变成了：
   $$dis{t}_{mk}(X_i,X_j)=(\sum _{u=1}^n|X_{iu}-X_{ju}{|}^2{)}^{\frac{1}{2}}$$
   这种距离的计算方式也称为欧式距离。

2、K-means聚类

K-means聚类是最为简单的一种聚类方式，假设聚类结果一共有k个簇，$u_i$表示第i个簇的中心点，我们的目标是最小化平方误差：
$$E=\sum _{i=1}^k\sum _{X\in C_i}||X-u_i|{|}^2$$
也就是先对每一个簇下面的各个样本计算与中心的距离之和，然后在对所有簇求和。当距离达到最小的时候，意味着聚类的效果达到了最优。但是想要找到最小的距离值是一个NP问题，所以在K-means中采用了贪心算法，找到近似解。

2.1 K-means算法描述

注意：在K-means算法，唯一的参数是指定的分成簇的个数K。

2.2 学习向量化算法LVQ

在上述描述的K-means算法中，所有的样本初始的时候都是没有类标签的，也就是K-means是一种完全监督的学习。在LVQ算法中，假设数据样本时带有类别的标签的，学习的过程会利用这些标签信息来辅助进行聚类。
在LVQ算法中，样本集合D的形式如下：
D = { ( X 1 , Y 1 ) , ( X 2 , Y 2 ) , . . . . , ( X m , Y m ) } D=\{(X_1,Y_1),(X_2,Y_2),....,(X_m,Y_m)\} D={(X1​,Y1​),(X2​,Y2​),....,(Xm​,Ym​)}
其中$Y_i$表示样本$X_i$的类别标签。每一个样本的维度为n，也就是$X_i=[X_{i1},X_{i2},...,X_{in}]$

LVQ的目标：
LVQ学习的目标是学习出各个簇的表示向量$p_1,p_2,...,p_k$，一共有k个簇，每一个$p_i$的维度为n。

首先，我们对各个簇的表示向量$p_i$进行随机初始化。并且给这些向量分配k个标签，用于后续的计算。记为$[t_1,t_2,...,t_k]$

训练的过程是一个迭代的过程，随机从样本集合中抽取一个样本$(X_i,Y_i)$，分别计算其和每一个簇的表示向量的的距离，$d_{ji}=||X_i-p_j|{|}^2$，找到距离最小的$p_j$，将$Y_i$和$p_j$的标签进行比较，如果两个标签相同，则有新的$p_j$为：
$$p_j^{new}=p_j+\eta \ast (X_i-p_j)$$
否则：
$$p_j^{new}=p_j-\eta \ast (X_i-p_j)$$

2.2.1 LVQ算法的形式化描述

2.2.3 更新公式的分析

在上面的描述中，我们给出了两个簇的表示向量的更新公式：

如果两个标签相同，则有新的$p_j$为：
$$p_j^{new}=p_j+\eta \ast (X_i-p_j)$$
否则：
$$p_j^{new}=p_j-\eta \ast (X_i-p_j)$$

我们来简单的分析一下，当标签相同的时候，更新后的$p_j^{new}$与样本$X_i$的距离为：
$$||X_i-p_j^{new}|{|}_2=||X_i-p_j-\eta \ast (X_i-p_j)|{|}_2=(1-\eta )||X_i-p_j|{|}_2$$
其中η∈[0,1]，所以可以判断出距离变小，也就是$p_j$更加接近于$X_i$。
当标签不同的时候：
$$||X_i-p_j^{new}|{|}_2=||X_i-p_j+\eta \ast (X_i-p_j)|{|}_2=(1+\eta )||X_i-p_j|{|}_2$$
可以判断出距离变大，也就是$p_j$更加疏远于$X_i$。

训练结束之后，我们就获得了最终的所有簇的向量表示$p_1,p_2,...,p_k$，下一步就可以利用这些簇的表示对其他的样本空间，根据距离进行划分。

3 参考

1. 周志华 《机器学习》