新手探索NLP（十二）——文本聚类

简介

聚类又称群分析，是数据挖掘的一种重要的思想,聚类（Cluster）分析是由若干模式（Pattern）组成的，通常，模式是一个度量（Measurement）的向量，或者是多维空间中的一个点。聚类分析以相似性为基础，在一个聚类中的模式之间比不在同一聚类中的模式之间具有更多的相似性。

文本聚类其实也就是在文本方向上的应用，首先我们要把一个个文档的自然语言转换成数学信息，这样形成高维空间点之后再去计算点与点之间的距离，然后将这些距离比较近的聚成一个簇，这些簇的中心成为簇心。而我们做的就是保证簇内点的距离足够近，簇与簇的距离足够远。

过程

第一部分：分词处理

我们要把中文文章要进行分词，这一点中文文章和英文文章有一些区别，因为英文单词是单个构成的，而我们中文是需要分词的。另外需要加入一个停用词表，在进行分词的时候进行去掉。

第二部分：分词后将分词转换为词向量

关于词向量我们有一些比较常用的模型，比如one-hot，BOW词袋模型，连续词袋模型(CBOW)和Skip-Gram模型和Word2vec模型。

第三部分：选择聚类算法

这里的