十大机器学习方法之聚类分析

聚类分析是一种无监督学习技术(常见的无监督学习还有密度估计、异常检测等)，可以在事先不知道正确结果（即无类标或预期输出值）的情况下，发现数据本身所蕴含的结构信息。其目标是发现数据中自然形成的分组，使得每个簇内样本的相似性大于其他簇内样本的相似性。聚类的商业领域应用包括：按照不同主题对文档、音乐、电影进行分组，或基于常见的购买行为，发现有相同兴趣爱好的顾客，并以此构建推荐引擎。

聚类既可以作为一个单独的过程，用于寻找数据中内在的分布结构，也可以作为分类等其他任务的前驱过程。

一、性能度量

       大致分为两类：一类是将聚类结果与某种参考模型（例如将某领域专家给出的分类结果作为参考模型）进行比较，称为外部指标；另一类是直接考察外部结果而不利用任何参考模型，称为内部指标。

其中带*的为参考模型的结果。

       常用的聚类性能外部指标：

• Jaccard系数（JC）

• FM指数（FowlkesandMallowsIndex，简称FMI）

• Rand指数（RI）

显然上述指标大小都在[0,1]之间，且距离越大越好。

考虑聚类结果的簇划分，定义：