python文本聚类dbscan_文本挖掘之文本聚类（DBSCAN）

简介

鉴于基于划分的文本聚类方法只能识别球形的聚类，因此本文对基于密度的文本聚类算法展开研究。DBSCAN(Density-Based Spatial Clustering of Applications with Noise)是一种典型的基于密度的聚类方法，可以找出形状不规则的聚类，而且聚类时无需事先知道聚类的个数。

基本概念

DBSCAN算法中有两个核心参数：Eps和MinPts(文献与程序中经常使用)。前者定义为邻域半径，后者定义为核心对象的阈值。本文为了描述方便，下文将Eps和MinPts分别简记为E和M。

(1)   E邻域：给定对象半径E内的区域成为该对象的E邻域。该E邻域为球形，其半径的界定可以采用距离(欧式距离)、余弦相似度、Word2Vec等表征，本文实现采用余弦相似度来表征。

(2)   核心对象：若给定对象E 邻域内的对象(样本点)个数大于等于M，则称该对象为核心对象。

(3)   直接密度可达：给定一个对象集合D，若对象p在q的E 邻域内，且q是一个核心对象，则称对象p从对象q出发是直接密度可达的(directly density-reachable)。

(4)   密度可达：给定一个对象集合D，若存在一个对象链p1，p2，p3，...，pn，p1=q，pn=p，对于pi属于D，i属于1~n，p(i+1)是从pi关于E和M直接密度可达的，则称对象p从对象q关于E和M密度可达的。

(5)   密度相连：给定一个对象集合D，若存在对象o属于D，使对象p和q均从o关于E和M密度可达的，那么对于对象p到q是关于E和M密度相连的。

(6)   边界对象：给定一个对象集合D，若核心对象p中存在对象q，但是q对象自身并非核心对象，则称q为边界对象。

(7)   噪声对象：给定一个对象集合D，若对象o既不是核心对象，也不是边界对象，则称o为噪声对象。

图1 集合对象

如图1所示，其设定M=3，红色节点为核心对象，黄色节点为边界节点，蓝色为噪声节点。

DBSCAN算法不仅能对对象进行聚类，同时还能识别噪声对象，即不属于任何一个聚类。需要指出：