4. DBSCAN方法及其应用

最新推荐文章于 2024-04-01 10:52:35 发布

我成为一只小羊

最新推荐文章于 2024-04-01 10:52:35 发布

阅读量8.4k

点赞数 1

文章标签： DBSCAN Python 机器学习 sklearn

本文链接：https://blog.csdn.net/Exupery_/article/details/76181272

版权

本文详细介绍了DBSCAN聚类算法，包括其核心概念、如何区分核心点、边界点和噪音点，以及算法流程。通过实例展示了如何设置Eps和MinPts参数，并在大学校园网使用数据上进行应用，分析学生上网时间和时长的模式，以揭示学生的行为习惯。

摘要由CSDN通过智能技术生成

1. DBSCAN密度聚类

DBSCAN算法是一种基于密度的聚类算法。
- 聚类的时候不需要预先指定簇的个数。
- 最终的簇的个数不定。
DBSCAN算法将数据点分为三类。
- 核心点：在半径Eps内含有超过MinPts数目的点。
- 边界点：在半径Eps内点的数目小于MinPts，但是落在核心点的临域内。
- 噪音点：既不是核心点也不是边界点的点。
DBSCAN算法流程
- 将所有点标记为核心点、边界点或噪声点。
- 删除噪声点。
- 为距离在Eps之内的所有核心点之间赋予一条边。
- 每组连通的核心点形成一个簇。
- 将每个边界点指派到一个与之关联的核心点的簇中（哪一个核心点的半径范围之内）。

这里写图片描述

2. 举例

有如下13个样本点，使用DBSCAN进行聚类。

这里写图片描述

取Eps=3，MinPts=3，依据DBSACN对所有点进行聚类（曼哈顿距离）。

对每个点计算其邻域Eps=3内的点的集合。
集合内点的个数超过MinPts=3的点为核心点。
查看剩余点是否在核心点的邻域内，若在，则为边界点，否则为噪声点。

这里写图片描述

将距离不超过Eps=3的点相互连接，构成一个簇，核心点邻域内的点也会被加入到这个簇中。则形成3个簇。

这里写图片描述

应用实例

现有大学校园网的日志数据，290条大学生的校园网使用情况数据，数据包括用户ID，设备的MAC地址，IP地址，开始上网时间，停止上网时间，上网时长，校园网套餐等。利用已有数据，分析学生上网的模式。目的：通过DBSCAN聚类，分析学生上网时间和上网时长的模式。

数据实例

这里写图片描述

数据链接

`DBSCAN`主要参数

eps：两个样本被看作邻居节点的最大距离。
min_sample：簇的样本数。
metric：距离计算方式。

根据上网时间聚类

import numpy as np
import sklearn.cluster as skc
from sklearn import metrics
import matplotlib.pyplot as plt

mac2id = dict()
online_times = []
f = open('Data/TestData', encoding='utf-8')
for line in f:

    # 读取每条数据中的mac地址，
    # 开始上网时间，上网时长

    mac = line.split(',')[2]
    online_time = int(line.split(',')[6])
    start_time = int(line.split(',')[4].split(' ')[1].split(':')[0])

    # mac2id是一个字典：
    # key是mac地址
    # value是对应mac地址的上网时长以及开始上网时间（精度为小时）

    if mac not in mac2id