从大量文本中挖掘‘典型意见‘-基于DBSCAN的文本聚类实战

文本聚类，是一个无监督学习里面非常重要的课题，无论是在风控还是在其他业务中，通过对大规模文本数据的分析，找出里面的聚集观点，有助于发现新的问题或者重点问题。

通过对评论文本的分析，我们可以发现消费者关注的产品或服务痛点

通过对店铺商品标题的文本聚类，可以知道店铺主要集中卖什么类型的商品

通过对来电语音转文本聚类，可以知道公司售后业务的典型问题或者新问题的爆发

... ...

通过对新闻文本的聚类，可以知道大家最近都在讨论什么主题

通过对昵称聚类，可以发现批量注册用户团伙

文本聚类方法非常多，我们今天讨论DBSCAN，也是一个非常经典的算法，我们上期讲过的算法，本文本进行简短的回顾，并用一个评价数据的聚类，来进行实战应用，下面就是发现的一个簇的文本。

好像不卫生吃了拉肚子，口感不好。

味道不行 吃了拉肚子 

别买 不卫生吃了拉肚子

菜品不新鲜，吃了拉肚子

鸭脚变味了，吃了拉肚子

吃了拉肚子  有点不新鲜了

就是不知道怎么回事我吃了拉肚子

一、算法概述

DBSCAN是一个出现得比较早（1996年），比较有代表性的基于密度的聚类算法，DBSCAN是英文Density-Based Spatial Clustering of Applications with Noise 的缩写，意思为：一种基于密度，同时对于有噪声（即孤立点或异常值）的数据集也有很好的鲁棒的空间聚类算法。DBSCAN将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。

在聚类问题中，如果数据集的各类呈球形分布，可以采用kmeans聚类算法，如果各类数据呈非球形分布（如太极图、笑脸图等），采用kmeans算法效果将大打折扣，这种情况使用DBSCAN聚类算法更为合适，如下图所示，我们的文本聚类，恰好是一些不标准的分布，且事先不确定类别数量，因此用这个算法也是很合适的。

二、 基本概念

DBSCAN的基本概念可以用1个思想，2个参数，3种类别，4种关系来总结。

1、1个核心思想

该算法最核心的思想就是基于密度，直观效果上看，DBSCAN算法可以找到样本点的全部密集区域，并把这些密集区域当做一个一个的聚类簇。

可以简单的理解该算法是基于密度的一种生长，和病毒的传染差不多，只要密度够大，就能传染过去，遇到密度小的，就停止传染，如下图所示。

可视化的网站：https://www.naftaliharris.com/blog/visualizing-dbscan-clustering/

2、2个算法参数，邻域半径R、最少点数目MinPoints

这两个算法参数实际可以刻画什么叫密集：当邻域半径R内的点的个数大于最少点数目R时，就是密集。

这两个参数恰好对应sklearn.cluster.DBSCAN算法中的两个参数为：min_samples 和 eps：eps表示数据点的邻域半径，如果某个数据点的邻域内至少有min_sample个数据点，则将该数据点看作为核心点，如果某个核心点的邻域内有其他核心点，则将它们看作属于同一个簇。如果将eps设置得非常小，则有可能没有点成为核心点，并且可能导致所有点都被标记为噪声。如果将eps设置为非常大，则将导致所有点都被划分到同一个簇。如果min_samples设置地太大，那么意味着更少的点会成为核心点，而更多的点将被标记为噪声。如下所示，指定半径r的点内有满足条件的个点，则可以认为该区域密集

3、3种点的类别，核心点、