机器学习小组知识点37：Canoy聚类

这一节写的好粗糙，不过理解思想就好###

Canopy 聚类算法

Canopy 聚类算法的基本原则是：首先应用成本低的近似的距离计算方法高效的将数据分为多个组，这里称为一个Canopy。Canopy 之间可以有重叠的部分。

然后采用严格的距离计算方式准确的计算在同一 Canopy 中的点，将他们分配与最合适的簇中。Canopy 聚类算法经常用于 K 均值聚类算法的预处理，用来找合适的 k 值和簇中心。

下面详细介绍一下创建 Canopy 的过程：

初始，假设我们有一组点集 S，并且预设了两个距离阈值，T1，T2（T1>T2）；然后选择一个点，计算它与 S 中其他点的距离（这里采用成本很低的计算方法），将距离在 T1 以内的放入一个 Canopy 中，同时从 S 中去掉那些与此点距离在 T2 以内的点（这里是为了保证和中心距离在 T2 以内的点不能再作为其他 Canopy 的中心），重复整个过程直到 S 为空为止。

这里可以发现Canopy聚类算法就是使用画圈的方法在数据集里进行简单的分类，并且每个中心点（canopy）不至于靠的太近（距离：T1-T2）。这能使我们优化K-Means聚类算法的一个缺陷，就是上篇提到过的选取初值K集的问题，借用pluskid的几个matlab图来说明一下：

上图是比较好的选取初值，得到理想结果。

上图是就因为初值的选取问题而到得了一个比较差的聚类结果。

一个避免这种情况出现的方法就是类似爬山算法，多进行几次程序的运算。另外一个就是使用这里说Canopy算法了，可以用来优化K-Means聚类算法的初始值K的选取的部分。