统计学补充概念06-层次聚类

概念

层次聚类是一种将数据点组织成层次结构的聚类方法，它逐步合并或划分数据点以形成聚类。这种方法不需要预先指定要形成的聚类数量，而是通过一系列步骤来建立聚类层次。层次聚类可以分为两种主要类型：凝聚型和分裂型。

凝聚型层次聚类（Agglomerative Hierarchical Clustering）：在凝聚型方法中，每个数据点被视为一个单独的聚类，然后逐步将具有最小距离的聚类合并成更大的聚类，直到所有数据点都在一个大聚类中。这种方法从底部开始，形成一个聚类树或树状图，每个节点都代表一个聚类。

分裂型层次聚类（Divisive Hierarchical Clustering）：在分裂型方法中，所有数据点都被视为一个大聚类，然后逐步将聚类分裂成更小的聚类，直到每个数据点都在自己的聚类中。这种方法从顶部开始，形成一个倒置的聚类树。

步骤

层次聚类的步骤通常如下：

计算距离或相似度矩阵：首先，计算每对数据点之间的距离或相似度，用于衡量它们之间的关系。

初始化聚类：开始时，每个数据点被视为一个单独的聚类。

合并或分裂聚类：根据一定的合并或分裂准则，逐步合并或分裂聚类，直到达到指定的停止条件。常用的合并准则包括单链接、完全链接和平均链接。

构建聚类层次：根据合并或分裂的步骤，构建聚类的层次结构，通常以树状图的形式表示。

根据需求截断层次：根据应用需求，可以选择在树状图中截断聚类层次，从而得到特定数量的聚类。

代码实现

import numpy as np
from sklearn.cluster import AgglomerativeClustering
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# 创建一个示例数据集
n_samples = 150
n_features = 2
n_clusters = 3
X, y = make_blobs(n_samples=n_samples, n_features=n_features, centers=n_clusters, random_state=42)

# 使用凝聚型层次聚类
n_clusters_desired = 3
model = AgglomerativeClustering(n_clusters=n_clusters_desired)
model.fit(X)
labels = model.labels_

# 可视化聚类结果
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='rainbow')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('Agglomerative Hierarchical Clustering')
plt.show()