聚类分析简述

聚类分析

聚类分析的基本思想

1. 在样品之间定义距离，在变量之间定义相似系数；
2. 按照相似程度的大小，将样品(变量)逐一归类，关系密切的类聚集到一个小的分类单位；
3. 然后逐步扩大，使得关系疏远的聚合到一个大的分类单位；
4. 直至所有的样品/变量都分类完毕，形成一个表示亲疏关系的谱系图，依次按照某些要求对样品进行分类。

样品

多元数据具有n个样本$x_1..x_n$，样本就是样品。

变量

每个样品具有p个不同指标。

聚类和判别分析的联系和区别

两种方法都是研究分类的。聚类前不知总体类别，判别分析是知道的。

样品间的相似性度量-距离

n个样品的多元观测数据$x_i=(x_{i}1,...,x_{i}p{)}^T,i=1,2,\mathrm{3...},n.$

$x_i与x_j$之间的距离定义

1. 欧式距离
   $$d(x_i,x_j)=\sqrt{\sum _{k=1}^p(x_{ik}-x_{jk}{)}^2}$$

2. 绝对距离

$$d(x_i,x_j)=\sum _{k=1}^p|x_{ik}-x_{jk}|$$

3. Minkowski距离

$$d(x_i,x_j)=[\sum _{k=1}^p(x_{ik}-x_{jk}{)}^m{]}^{\frac{1}{m}}$$

4. 切比雪夫距离

$$d(x_i,x_j)=ma{x}_{1\le k\le p}|x_{ik}-x_{jk}|$$

5. 🐎氏距离

$$d(x_i,x_j)=[(x_i-x_j{)}^T{\Sigma }^{-1}(x_i-x_j){]}^{\frac{1}{2}}$$

​ 其中，$\Sigma =\frac{1}{n-1}{\sum }_{i=1}^n(x_i-\bar{x})(x_i-\bar{x}{)}^T$

变量间的相似性度量-相似度

1. 相似系数

   n个样本的第α个指标$x_{\alpha }=(x_{1\alpha },...,x_{n\alpha })$和第β个指标$x_{\beta }=(x_{1\beta },...,x_{n\beta })$的相关系数如下：
   $$r_{\alpha \beta }=\frac{{\sum }_{i=1}^n(x_{i\alpha }-{\bar{x}}_{\alpha })(x_{i\beta }-{\bar{x}}_{\beta })}{\sqrt{{\sum }_{i=1}^n(x_{i\alpha }-{\bar{x}}_{\alpha }{)}^2{\sum }_{i=1}^n(x_{i\beta }-{\bar{x}}_{\beta }{)}^2}}$$

2. 夹角余弦

   解析集合两个向量余弦在p元数据上的推广：
   $$c_{\alpha \beta }=\frac{\sum x_{i\alpha }{x}_{i\beta }}{\sum x_{\alpha }^2\sum x_{\beta }^2}$$

谱系聚类

快速聚类