聚类分析

聚类思想

聚类分析主要是基于在多维空间中，同类样本距离近，不同类的样本比同类之间得距离大。

聚类需要解决的问题

（1）如何衡量两个样本的相似度
（2）相似到什么程度归为一类

问题（1）

我们把每个样本看为一个多维空间的点，很显然最简单的度量相似度的就是点与点之间的距离。

欧式距离

$$D_{ij}=(X_i-X_j)^T(X_i-X_j)=\sqrt{\sum_{k=1}^n(x_{ik}-x_{jk})^2}$$

Minkoski distance

$$D_{ij}=[\sum_{k=1}^n|x_{ik}-x_{jk}|^q]^{\frac{1}{q}}$$

马氏距离

$$D_{ij}^2=(X_i-X_j)^TS^{-1}(X_i-X_j)$$ where
$$S=\frac{1}{n}\sum_{k=1}^n(X_i-(\bar X))(X_i-(\bar X))^T$$
除了距离可以度量，我们还可以利用统计学中的相似性系数来衡量两个样本的相似性。

（1）相关系数

$$R_{ij}=\frac{\sum_{k=1}^n(x_{ik}-\bar x_i)(x_{jk}-\bar x_j)}{\sqrt{\sum_{k=1}^n(x_{ik}-\bar x_i)^2\sum_{k=1}^n(x_{jk}-\bar x_j)^2}}$$
where $\bar x_i$and $\bar x_j$represents the mean of $i^{th}$ and $j^{th}$ sample. 当 $R_{ij}$越接近1越相似，越接近-1越不相似。
（2）相似系数
第i和第j个样本之间的相似系数用两个向量间的夹角的余弦定义，即
$$cos \alpha_{ij}=\frac{\sum_{k=1}^n x_{ij}x_{kj}}{\sqrt{\sum_{k=1}^n x_{ik}^2 \sum_{k=1}^n x_{jk}^2}}$$