【大数据】七、聚类（层次聚类、K-Means、BFR、CURE）

1 层次聚类

层次聚类一开始将每个点都看成一个簇，然后合并簇。

对于层次聚类算法，必须提前确定：
(1) 簇如何表示？（簇心代表簇
(2) 如何选择哪两个簇进行合并？（最小欧式距离合并
(3) 簇合并何时结束？（簇的数量

1.1 效率

普通的方法实践复杂度为 O(n^3)

当采用优先级队列的时候，以空间换时间，时间复杂度为 O(n^2 logn)

1.2 控制层次聚类的规则

1. 定义两个簇的距离为两个簇中所有点之间的最短距离；
2. 定义两个簇的距离为两个簇中所有点对之间的距离的平均值，其中计算距离的两个点分别来自不同的簇。n * m个点对；
3. 簇的半径(radius)是指簇内所有点到质心的最大距离。我们可以将结果簇具有最小半径的两个簇进行合并；
4. 簇的直径(diameter)是指簇内任意两个点之间的最大距离，将结果簇具有最小直径的两个簇进行合并。

1.3 非欧空间的距离测量

1. Jaccard 距离
2. 余弦距离
3. 编辑距离

2 K-means 算法

分配类算法，将点分配到簇中。

算法步骤

• 初始化 k 个数量的簇心（彼此距离尽可能远）
• 计算所有点到簇心的距离，一次将一个距离最小的点分配到簇中，更新簇心，并不断迭代
• 直到所有点都归类到簇

3 BFR 算法

BFR 用 K-means 算法来初始化 k 个点，数据文件中的点以组块的方式读入。除了组块还包括其他三种对象
（1）废弃集（Discard Set）：废弃集中所有的点与质心足够接近，形成了一个簇，因此将点废弃，只保留这些簇的概要信息。
（2）压缩集（Compressed Set）：压缩集中的点相互接近，但并不接近任何一个已存在的质心，基本可以理解为没有质心，也不算做是簇，存放的也是这些点的概要信息，因为不是簇，所以只是点集的概要而不是簇的概要。
（3）留存集（Retained Set）：一些孤立点，既不能被分配给某个簇，也不会和其他点足够接近而被放到压缩集中，这些点会显示的存在。

算法步骤:

1. 首先，充分接近某个簇质心的点会被加到该簇中；（更新废弃集）
2. 对于那些并不充分接近任意簇质心的点，将它们与留存集中的点一起聚类，通常采用基于内存的聚类算法，多于一个点的簇会被概括表示并加入到压缩集（迷你簇），剩余的单点簇则表示为点的留存集；
3. 压缩集迷你簇和新的迷你簇（迷你簇含有互相接近，但是不接近于任何簇的点）之间可以进行合并；
4. 不在留存集中的点，会和分配结果一起写到二级存储上；
5. 如果输入是数据的最后一个组块，完成后必须对压缩集和存留集进一步处理，可以将其看作离群点，可以将留存集每个点分配给质心离它最近的那个簇，也可以将每个迷你簇与那个质心离它最近的簇合并。

4 CURE 算法

CURE 算法可用于大规模数据聚类

算法步骤

1. 抽取一部分样本数据在内存中进行聚类；
2. 从每个簇中选择一小部分点集作为簇的代表点（可以用 K-means 算法来选择点；
3. 对每个代表点移动一段距离，该距离是其位置到簇质心的距离乘以一个固定的比例。

5 非欧空间下的聚类

5.1 GRGPF 算法

GRGPF算法同时采用了层次聚类和点分配聚类的思想，同时试图将所有簇组织成树状的层次结构，因此一个新的点可以通过树遍历方式分配到合适的簇中。树的叶节点中保存了某些簇的概要表示，而内部节点保存了经该节点能够到达的簇的描述信息的子集。

令 ROWSUM§ 为 p 到簇中所有其他点的距离平方和

由以下特征构成簇的表示
(1) 簇中点的数目N。
(2) 簇的中心点，这里的具体定义为簇中到所有其他点的距离平方和最小的那个点。也就是说，簇的中心点是具有最小ROWSUM值的簇内点。
(3) 簇中心点的ROWSUM值。
(4) 对于某个选定的常数k, 离簇的中心点最近的K个点及其ROWSUM值。当新的点加入到簇引起中心点变化时，这些点是表示的一部分。这里的假设是，新的中心点是离旧的中心点最近的k个点中的一个。
(5) 离中心点最远的K个点及其ROWSUM值。这些点是表示的一部分，我们可以基于这些点来考虑两个簇是否近到足以合并。这里的假设是，如果两个簇互相接近，那么远离其各自中心点的一对点互相接近。