聚类算法简介

聚类

一.什么是聚类

1.聚类定义

聚类就是对大量未知标注的数据集,按数据的内在相似性将数据集划分为多个类别,使类别内的数据相似度较大而类别间的数据相似度较小。由这个定义，我们便可以知道，数据集并没有目标值。因此聚类算法属于无监督算法。

2. 相似度的衡量

之前在k-means算法的简介当中，提及过一个欧式距离。但实际上，相似度的衡量方式有很多种。比如说：

• 欧式距离（这里列出的是欧式距离的拓展，闵可夫斯基距离）：

• 杰卡德相似系数(Jaccard)

• 余弦相似度：
  $$\cos (\theta )=\frac{x^{T}y}{|x|\cdot |y|}$$
  这个是x向量与y向量之间的夹角为theta。如果x，y都是多维呢？如下：

• Pearson相似系数：

• 相对熵(K-L距离)：

• Hellinger距离：

在Hellinger距离当中，特殊的，我们取a=0的时候：

对于这几种距离到底适用于哪种场景，优缺点是什么，其实很难说，查了一些资料，一句话引起了我的注意：

其实你会发现，选择不同的相似性度量方法，对结果的影响是微乎其微的。 ——《集体智慧编程》

3. 聚类与降维的关系

我们看下面这个示例，我们假设有x1,x2, ……, xn堆样本，每堆样本有m个数据，那么这m个堆样本就组成了n*m的矩阵。
$$\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ .\\ .\\ .\\ .\\ x_n\end{array}\right)\Rightarrow (\begin{array}{cc}{x}_1^{(1)}& \\ x_2^{(1)}& \\ x_3^{(1)}& \\ \dots \dots & \\ \dots \dots & \\ \dots \dots & \\ x_n^{(1)}& \end{array}$$