1. DBSCAN密度聚类
-
DBSCAN算法是一种基于密度的聚类算法。
- 聚类的时候不需要预先指定簇的个数。
- 最终的簇的个数不定。
-
DBSCAN算法将数据点分为三类。
- 核心点:在半径Eps内含有超过MinPts数目的点。
- 边界点:在半径Eps内点的数目小于MinPts,但是落在核心点的临域内。
- 噪音点:既不是核心点也不是边界点的点。
-
DBSCAN算法流程
- 将所有点标记为核心点、边界点或噪声点。
- 删除噪声点。
- 为距离在Eps之内的所有核心点之间赋予一条边。
- 每组连通的核心点形成一个簇。
- 将每个边界点指派到一个与之关联的核心点的簇中(哪一个核心点的半径范围之内)。
2. 举例
有如下13个样本点,使用DBSCAN进行聚类。
取Eps=3,MinPts=3,依 据DBSACN对所有点进行聚类 (曼哈顿距离)。
- 对每个点计算其邻域Eps=3内的点的集合。
- 集合内点的个数超过MinPts=3的点为核心点。
- 查看剩余点是否在核心点的邻域内,若在,则为边界点,否则为噪声点。
将距离不超过Eps=3的点相互连接,构成一个簇,核心点邻域内的点也会被加入到这个簇中。 则形成3个簇。
应用实例
现有大学校园网的日志数据,290条大学生的校园网使用情况数据,数据包 括用户ID,设备的MAC地址,IP地址,开始上网时间,停止上网时间,上 网时长,校园网套餐等。利用已有数据,分析学生上网的模式。目的:通过DBSCAN聚类,分析学生上网时间和上网时长的模式。
数据实例
DBSCAN
主要参数
eps
:两个样本被看作邻居节点的最大距离。min_sample
:簇的样本数。metric
:距离计算方式。
根据上网时间聚类
import numpy as np
import sklearn.cluster as skc
from sklearn import metrics
import matplotlib.pyplot as plt
mac2id = dict()
online_times = []
f = open('Data/TestData', encoding='utf-8')
for line in f:
# 读取每条数据中的mac地址,
# 开始上网时间,上网时长
mac = line.split(',')[2]
online_time = int(line.split(',')[6])
start_time = int(line.split(',')[4].split(' ')[1].split(':')[0])
# mac2id是一个字典:
# key是mac地址
# value是对应mac地址的上网时长以及开始上网时间(精度为小时)
if mac not in mac2id