三大聚类算法kmeans/DBSCAN/层次系列
一、聚类的概念
- 无监督:没有标签
- 相似的分到一组
- 难点:评估参数,调整参数
一、k-means的核心概念
- 需要指定k值
- 质心:均值,初始质心获取各维度的平均值
- 距离的量度:欧式距离
二、k-means的执行流程
- 首先设置初始质心和k值
- 通过第一次迭代,围绕初始质心形成k个原型簇
- 选择每个簇中的平均值作为质心,进行第二次迭代
- 重复3的流程,直到本次迭代和上次迭代没有区别的时候,停止迭代
三、k-means的优势、劣势
- 优势:
- 快速,简单
- 劣势:
- k值难确定
- 依赖初始质心的选择
- 很难处理不规则的簇,只能处理原型的簇
四、DBSCAN算法基本概念
- minPts:密度阈值,需要手动设定
- R:半径,需要手动设定
- 核心对象:在R领域内需要不小于minPts个核心点
- 边界点:BC因为能和A关联上,但是没有下线能关联,被称为边界点
- N :不能和A进行关联,也不能有下线所以是离群点
- 噪声点/离群点:从任何一个类簇的点都是不可达的点
- DBSCAN算法:适合查找离群点、异常检测
五、DBSCAN算法执行流程
- 设定参数 R、minPts
- 标记所有的对象为 未访问到
- 随机获取一点开始查找 R半径内如果大于minPts个对象,这个点就是核心对象
- 核心对象的所有的对象都继续查找自身R半径的对象,如果大于minPTs个对象,该对象也是核心对象。该核心对象中的所有对象继续查找自身半径R内的所有对象,直到直到边界为止
- 找到边界之后,C1簇算是已经完成。随机在获取一点继续查找,直到完成
- 直到最后会剩下找不到的点,成为离群点/噪声点。
二、使用步骤
1.引入库
代码如下(示例):
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
2.读入数据
代码如下(示例):
data = pd.read_csv(
'https://labfile.oss.aliyuncs.com/courses/1283/adult.data.csv')
print(data.head())
该处使用的url网络请求的数据。
总结
提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。