9 层次聚类
9.1 简介
层次聚类
分为两种类型:
- 聚合(agglomerative)或自下而上(bottom-up)聚类
- 分裂(divisive)或自上而下(top-down)聚类
凝聚层次聚类(AGNES):属于聚合或自下而上聚类
步骤:
- 构造 m m m个类,每个类包含一个样本,即有多少个样本就有多少个类
- 计算类与类之间的距离 d i j d_{ij} dij,记作矩阵 D = [ d i j ] m ∗ m D=[d_{ij}]_{m*m} D=[dij]m∗m
- 合并间距最小的两个类
- 若达到聚类数 K K K则退出
- 重新计算类之间的距离 d i j d_{ij} dij,重复第3步
9.2 距离计算方法
类间聚类距离计算方法:
- 最小距离(单连接)
- 最大距离(完全连接)
- 中心(均值)距离
- 平均距离
举例:
9.3 Sklearn之层次聚类
层次聚类相关API:
# sklearn库
from sklearn.cluster import AgglomerativeClustering
"""
linkage取值:
single:最小距离
complete:最大距离
ward:最小方差
average:平均距离
"""
# 创建模型(定义层次聚类)
model=AgglomerativeClustering(n_clusters=聚类中心(质心)个数,affinity=距离计算公式,linkage=距离计算方法)
# 训练模型
# 输入:一个二维数组表示的样本矩阵
# 输出:每个样本最终的结果
model.fit(输入)
print("每个样本所属的簇(类别):",model.labels_)
案例:加载cluster_data.csv数据文件,基于sklearn库实现层次聚类模型
import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
# sklearn库
from sklearn.cluster import AgglomerativeClustering
def loaddata():
data = np.loadtxt('data/cluster_data.csv',delimiter=',')
return data
X = loaddata()
# 散点图
plt.scatter(X[:, 0], X[:, 1], s=20)
# 注意sklearn 0.20以上版本才支持linkage='single'
# 创建模型(定义层次聚类)【距离计算公式:欧式距离,距离计算方法:最大距离】
model = AgglomerativeClustering(n_clusters=3,affinity='euclidean',linkage='complete')
# 训练模型
model.fit(X)
print("每个样本所属的簇(类别):",model.labels_)
# 可视化
cm_dark = mpl.colors.ListedColormap(['g', 'r','b'])
# c=model.labels_:根据model.labels_的取值匹配cmp属性来设置颜色
plt.scatter(X[:, 0], X[:, 1], c=model.labels_, cmap=cm_dark, s=20)
plt.show()