denclue 聚类_六种常用的文本聚类方法介绍

文本聚类算法介绍

分类和聚类都是文本挖掘中常使用的方法，他们的目的都是将相似度高的对象归类，不同点在于分类是采用监督学习，分类算法按照已经定义好的类别来识别一篇文本，而聚类是将若干文本进行相似度比较，最后将相似度高的归为一类[40]。在分类算法中，训练集为已经标注好的数据集，但是微博文本具有的大数据特性及不确定性决定了标注数据的难度，因此本文选择聚类算法对大量且随机的微博文本进行处理。

大量文本建模后还需要对主题分布进行聚类以得到更精确简洁的话题，因此文本聚类在话题检测技术中具有重要意义。聚类是一种无监督学习方式，目的是把一个数据根据某种规则划分为多个子数据，一个子数据就称为一个聚类。聚类分析在文本分析、商务应用、网页搜索、推荐系统、生物医学等多个领域都有着十分广泛的应用。由于数据应用场合不同，不同的聚类方式侧重点不同，各有优势和缺陷，因此目前没有一个通用的聚类算法。目前聚类主要分为以下几类：基于划分的聚类算法、基于层次的聚类算法、基于密度的聚类算法、基于网格的聚类算法、基于模型的聚类算法以及基于模糊的聚类算法[41]。图2-8为目前主要的聚类算法分类图。

图 2-8 聚类算法分类图

2.4.1 基于划分的聚类算法

基于划分的聚类算法是聚类算法中最为简单的算法，假设有一个数据集 ，其中包含 个子数据，若要将 划分为 个类簇， ，每个类簇中至少含有一个子数据，且类簇之间不会有交集。要达到的要求是簇中的数据之间有较高的相似度，而簇类之间的相似度尽可能地低。经过专家学者的不断研究， K-means算法、Single-Pass增量聚类算法、围绕中心划分（Partitioning Around Mediods，PAM）算法等等都得到了较为广泛的应用。而其中最为经典、应用最多的是K-means算法。</