聚类分析(理论知识篇)

这是我学习数学建模的学习笔记，有来自教材的摘抄也有自己的一些理解，主要是为了方便学习而用；参考教材：《数学建模算法与应用(第二版)》；

Q型聚类分析（样本聚类）

样本的相似性度量

引言：要用数量化的方法对事物进行分类，就必须用数量化的方法描述事物之间的相似程度。一个事物常常需要用多个变量来刻画；若一个事物Z需要用p个变量来刻画，有Z∈R^p。对Z进行一次观测就会得到一组静态(quiet)的数据(样本点)，很自然的可以想到利用空间中的距离来度量样本点之间的相似程度；
记Ω是样本点集，距离d( · , · )是Ω×Ω→R⁺的一个函数，满足条件：
①正定性：d( x , y )≥0，x,y∈Ω
②对称性：d( x , y )=d( y , x )，x,y∈Ω
③三角不等式：d( x , y )≤d( x , z )+d( y , z )，x,y,z∈Ω
④d( x , y )=0 当且仅当 x=y

假设事物Z有两个样本点x,y，则有样本点之间的距离(d)的定义；

1. 闵氏(Minkowski)距离：
   $$d_q(\overrightarrow{x},\overrightarrow{y})=[\sum _{k=1}^p|x_k-y_k{|}_{}^q{]}_{}^{\frac{1}{q}},q>0,$$

• 绝对值距离
  $$d_1(\overrightarrow{x},\overrightarrow{y})=\sum _{k=1}^p|x_k-y_k|,(q=1)$$
• 欧几里得(Euclid)距离
  $$d_2(\overrightarrow{x},\overrightarrow{y})=[\sum _{k=1}^p|x_k-y_k{|}_{}^2{]}_{}^{\frac{1}{2}},(q=2)$$
• 切比雪夫(Chebyshev)距离
  $$d_{\infty }(\overrightarrow{x},\overrightarrow{y})=\underset{1\le k\le p}{m}ax|x_k-y_k|,(q\to +\infty )$$
  式中：x,y为来自p维总体Z的样本观测值；
  缺点：
  ①数据要采用相同的量纲。(标准化处理)
  ②避免变量的多重相关性。
• 多重相关性

2. 马氏(Mahalanobis)距离：
   $$d_1(\overrightarrow{x},\overrightarrow{y})=\sqrt{(\overrightarrow{x},\overrightarrow{y}{)}_{}^T{\Sigma }_{}^{-1}(\overrightarrow{x},\overrightarrow{y})}$$
   式中：x,y为来自p维总体Z的样本观测值；Σ为Z的协方差矩阵，实际中Σ往往未知的，常需要用样本协方差来估计。

样本聚类

如果有两个样本类G1和G2，可以用下面的一系列方法度量样本类之间的距离(D)；

1. 最短距离法 D ( G 1 , G 2 ) = min ⁡ x i ∈ G 1 , y i ∈ G 2 { d ( x → i , y → i ) } D(G1,G2)= \min_{xi\in G1,yi\in G2}\{d(\overset{\rightarrow}x_{i},\overset{\rightarrow}y_{i})\} D(G1,G2)=xi∈G1,yi∈G2min​{d(x→i​,y→​i​)}
   直观意义：两个类中最近两点的距离；
2. 最长距离法 D ( G 1 , G 2 ) = max ⁡ x i ∈ G 1 , y i ∈ G 2 { d ( x → i , y → i ) } D(G1,G2)= \max_{xi\in G1, yi\in G2}\{d(\overset{\rightarrow}x_{i},\overset{\rightarrow}y_{i})\} D(G1,G2)=xi∈G1,yi∈G2max​{d(x→i​,y→​i​)}
   直观意义：两个类中最长两点的距离；
3. 重心法$$D(G1,G2)=d(\stackrel{\stackrel{—}{\to }}{x},\stackrel{\stackrel{—}{\to }}{y}),(\stackrel{\stackrel{—}{\to }}{x},\stackrel{\stackrel{—}{\to }}{y}分别为G1,G2的均值)$$
   直观意义：两个类重心(均值)的距离；
4. 类平均法
   $$D(G1,G2)=\frac{1}{n_1{n}_2}\sum _{xi\in G1}\sum _{yi\in G2}d({\overrightarrow{x}}_i,{\overrightarrow{y}}_i)$$
   直观意义：两个类之间样本点距离的平均,n1,n2分别为G1,G2中的样本点个数；
5. 离差平方和(ward)法$$\begin{gathered} G_1:D_1=\sum _{x_i\in G_1}({\overrightarrow{x}}_i-{\stackrel{\stackrel{—}{\to }}{x}}_1{)}_{}^T({\overrightarrow{x}}_i-{\stackrel{\stackrel{—}{\to }}{x}}_1),G_2:D_2=\sum _{x_j\in G_2}({\overrightarrow{x}}_j-{\stackrel{\stackrel{—}{\to }}{x}}_2{)}_{}^T({\overrightarrow{x}}_j-{\stackrel{\stackrel{—}{\to }}{x}}_2), \\ {G}_1\cup G_2:D_{12}=\sum _{x_k\in G_1\cup G_2}({\overrightarrow{x}}_k-\stackrel{\stackrel{—}{\to }}{x}{)}_{}^T({\overrightarrow{x}}_k-\stackrel{\stackrel{—}{\to }}{x}) \\ D=D_{12}-D_1-D_2 \\ ({\stackrel{\stackrel{—}{\to }}{x}}_1,{\stackrel{\stackrel{—}{\to }}{x}}_2,\stackrel{\stackrel{—}{\to }}{x}分别为G_1,G_2,G_1\cup G_2的均值) \end{gathered}$$

直观意义：D1,D2小，则它们能很好的各自聚成一类；D12很大，则这两类能充分分离，这时必然有D很大；则可认为G1和G2之间的距离很大；

• matlab代码实现

R型聚类分析（变量聚类）

变量的相似性度量

1. 相关系数
   记变量x_j的取值(x_1j,x_2j,···,x_nj)^T∈(j=1,2,···,m)。则可以用变量x_j与x_k的样本相关系数作为它们的相似性度量，即：
   $$r_{jk}=\frac{\sum _{i=1}^n(x_{ij}-\stackrel{—}{x_j})(x_{ik}-\stackrel{—}{x_k})}{[\sum _{i=1}^n(x_{ij}-\stackrel{—}{x_j}{)}_{}^2\sum _{i=1}^n(x_{ik}-\stackrel{—}{x_k}{)}_{}^2{]}_{}^{\frac{1}{2}}}=\frac{\sum _{i=1}^n{\stackrel{～}{x}}_{ij}{\stackrel{～}{x}}_{ik}}{n-1}$$
   在对变量进行聚类分析时，利用相关系数矩阵是最多的。
2. 夹角余弦
   也可以直接利用两变量x_j与x_k的夹角余弦r_jk来定义它们的相似性度量，即：
   $$r_{jk}=\frac{\sum _{i=1}^n{x}_{ij}{x}_{ik}}{(\sum _{i=1}^n{x}_{ij}^2\sum _{i=1}^n{x}_{ik}^2{)}_{}^{\frac{1}{2}}}$$
   各种定义的相似度量均应具有以下两个性质：
   ①|r_jk|≤1，对于一切j，k
   ②r_jk=r_kj，对于一切j，k
   |r_jk|越接近1，x_j与x_k相关性越强；反之，|r_jk|越接近0，x_j与x_k相关越弱；

变量聚类法

类似于样本集合聚类分析利用距离来度量相似程度。可以用下面的一系列方法度量变量之间的距离(R)；

1. 最长距离法
   定义距离两变量的距离为：
   R ( G 1 , G 2 ) = m a x { d j k } x j ∈ G 1 , x k ∈ G 2 d j k = 1 − ∣ r j k ∣ 或 d j k 2 = 1 − r j k 2 R(G_{1},G_{2})=\underset{x_{j}\in G_{1},x_{k}\in G_{2}}{max\{d_{jk}\}}\\ d_{jk}=1-|r_{jk}|或d_{jk}^{2}=1-r_{jk}^{2} R(G1​,G2​)=xj​∈G1​,xk​∈G2​max{djk​}​djk​=1−∣rjk​∣或djk2​=1−rjk2​
2. 最短距离法
   定义距离两变量的距离为：
   R ( G 1 , G 2 ) = m i n { d j k } x j ∈ G 1 , x k ∈ G 2 d j k = 1 − ∣ r j k ∣ 或 d j k 2 = 1 − r j k 2 R(G_{1},G_{2})=\underset{x_{j}\in G_{1},x_{k}\in G_{2}}{min\{d_{jk}\}}\\ d_{jk}=1-|r_{jk}|或d_{jk}^{2}=1-r_{jk}^{2} R(G1​,G2​)=xj​∈G1​,xk​∈G2​min{djk​}​djk​=1−∣rjk​∣或djk2​=1−rjk2​

• matlab代码实现

聚类图

不管是样本聚类还是变量聚类都是通过选定距离算法来度量样本(变量)之间的相似程度；生成聚类图的步骤如下：
①选定距离算法来度量样本(变量)之间的相似程度；
②首先构造集合U₁包含n个基本的子集(类)，每个子集(类)只包含一个样本(变量)，每一个子集(类)的平台高度为0；
③合并距离最近的两子集(类)为一个新子集(类)，并且以这两子集(类)之间的距离值作为新子集(类)的平台高度；生成U₂包含新的n-1个基本的子集(类)；
④反复进行③最终U_n-1只有1个基本子集(类)时，聚类图生成；
⑤画出聚类图；
显然采用不同的距离算法有可能得到不同的聚类图；
生成聚类图的过程，每一步融合两个距离最近的子集(类)，得到一个新的子集(类)，这其实也是以集合U₁包含n个基本的子集(类)作为二叉树的初始节点，根据距离算法，生成的一颗二叉树；
假设根据距离算法，刚好按顺序融合；

步骤	初始集合(类)/(节点)	融合的集合(类)/(节点)	生成的新集合(类)/(节点)	平台高度h
1	x1,x2,x3…xn	x1,x2	x12	hi=0(i=1,2,…,n)
2	x12,x3…xn	x12,x3	x123	hi=0(i=1,2,…,n),h12=d12
…	…	…	…
n-1	x12…(n-1)	x12…(n-1),xn	x12…n	hi=0(i=1,2,…,n),h12=d12,h123=d123,…,h12…n=d12…n