10.HanLP实现k均值--文本聚类

最新推荐文章于 2023-10-24 17:36:45 发布

mantchs

最新推荐文章于 2023-10-24 17:36:45 发布

阅读量2.1k

点赞数 1

分类专栏： NLP 文章标签：自然语言处理机器学习算法 nlp

本文链接：https://blog.csdn.net/weixin_41510260/article/details/104300421

版权

本文介绍了文本聚类的概念，重点讲解了使用HanLP实现的k均值和重复二分聚类算法。k均值通过迭代优化聚类，而重复二分聚类则通过二分策略提升效率。文中以音乐网站用户聚类为例，展示了这两种算法的应用，并提及了如何自动判断聚类个数。最后，提供了聚类效果的评测及代码实现。

摘要由CSDN通过智能技术生成

文章目录

- 10. 文本聚类

笔记转载于GitHub项目：https://github.com/NLP-LOVE/Introduction-NLP

10. 文本聚类

正所谓物以类聚，人以群分。人们在获取数据时需要整理，将相似的数据归档到一起，自动发现大量样本之间的相似性，这种根据相似性归档的任务称为聚类。

10.1 概述

聚类

聚类(cluster analysis )指的是将给定对象的集合划分为不同子集的过程，目标是使得每个子集内部的元素尽量相似，不同子集间的元素尽量不相似。这些子集又被称为簇(cluster),一般没有交集。

一般将聚类时簇的数量视作由使用者指定的超参数，虽然存在许多自动判断的算法，但它们往往需要人工指定其他超参数。

根据聚类结果的结构，聚类算法也可以分为划分式(partitional )和层次化(hierarchieal两种。划分聚类的结果是一系列不相交的子集，而层次聚类的结果是一棵树，叶子节点是元素，父节点是簇。本章主要介绍划分聚类。
文本聚类

文本聚类指的是对文档进行聚类分析，被广泛用于文本挖掘和信息检索领域。

文本聚类的基本流程分为特征提取和向量聚类两步，如果能将文档表示为向量，就可以对其应用聚类算法。这种表示过程称为特征提取，而一旦将文档表示为向量，剩下的算法就与文档无关了。这种抽象思维无论是从软件工程的角度，还是从数学应用的角度都十分简洁有效。

10.2 文档的特征提取

词袋模型

词袋(bag-of-words )是信息检索与自然语言处理中最常用的文档表示模型，它将文档想象为一个装有词语的袋子，通过袋子中每种词语的计数等统计量将文档表示为向量。比如下面的例子:
```
人 吃 鱼。
美味 好 吃！
```
统计词频后如下:
```
人=1
吃=2
鱼=1
美味=1
好=1
```
文档经过该词袋模型得到的向量表示为[1,2,1,1,1]，这 5 个维度分别表示这 5 种词语的词频。

一般选取训练集文档的所有词语构成一个词表，词表之外的词语称为 oov，不予考虑。一旦词表固定下来，假设大小为 N。则任何一个文档都可以通过这种方法转换为一个N维向量。词袋模型不考虑词序，也正因为这个原因，词袋模型损失了词序中蕴含的语义，比如，对于词袋模型来讲，“人吃鱼”和“鱼吃人”是一样的，这就不对了。

不过目前工业界已经发展出很好的词向量表示方法了: word2vec/bert 模型等。
词袋中的统计指标

词袋模型并非只是选取词频作为统计指标，而是存在许多选项。常见的统计指标如下:
- 布尔词频: 词频非零的话截取为1，否则为0，适合长度较短的数据集
- TF-IDF: 适合主题较少的数据集
- 词向量: 如果词语本身也是某种向量的话，则可以将所有词语的词向量求和作为文档向量。适合处理 OOV 问题严重的数据集。
- 词频向量: 适合主题较多的数据集
定义由 n 个文档组成的集合为 S，定义其中第 i 个文档 di 的特征向量为 di，其公式如下:
$d_{i}=\left(\operatorname{TF}\left(t_{1}, d_{i}\right), \operatorname{TF}\left(t_{2}, d_{i}\right), \cdots, \operatorname{TF}\left(t_{j}, d_{i}\right), \cdots, \operatorname{TF}\left(t_{m}, d_{i}\right)\right)$
其中 tj表示词表中第 j 种单词，m 为词表大小， TF(tj, di) 表示单词 tj 在文档 di 中的出现次数。为了处理长度不同的文档，通常将文档向量处理为单位向量，即缩放向量使得 ||d||=1。

10.3 k均值算法

一种简单实用的聚类算法是k均值算法(k-means),由Stuart Lloyd于1957年提出。该算法虽然无法保证一定能够得到最优聚类结果，但实践效果非常好。基于k均值算法衍生出许多改进算法，先介绍 k均值算法，然后推导它的一个变种。

基本原理

形式化啊定义 k均值算法所解决的问题，给定 n 个向量 d1 到 dn，以及一个整数 k，要求找出 k 个簇 S1 到 Sk 以及各自的质心 C1 到 Ck，使得下式最小:
$\text { minimize } \mathcal{I}_{\text {Euclidean }}=\sum_{r=1}^{k} \sum_{d_{i} \in S_{r}}\left\|\boldsymbol{d}_{i}-\boldsymbol{c}_{r}\right\|^{2}$