无监督学习 - 层次聚类（Hierarchical Clustering）

什么是机器学习

层次聚类是一种无监督学习的聚类算法，它以树状结构（层次结构）的形式组织数据集中的样本。这种聚类方法可以分为两类：凝聚层次聚类（Agglomerative Hierarchical Clustering）和分裂层次聚类（Divisive Hierarchical Clustering）。

凝聚层次聚类（Agglomerative Hierarchical Clustering）：

凝聚层次聚类的基本思想是将每个数据点看作一个簇，然后合并最相似的簇，不断迭代，直到达到指定的簇的数量或达到某个停止条件。常用的合并（凝聚）方法包括单链接（Single Linkage）、完全链接（Complete Linkage）和平均链接（Average Linkage）等。

以下是凝聚层次聚类的基本步骤：

1. 初始化： 将每个数据点看作一个簇。
2. 计算相似度： 计算所有簇之间的相似度，可以使用欧氏距离、曼哈顿距离等。
3. 合并最相似的簇： 选择相似度最高的两个簇，将它们合并成一个新的簇。
4. 层次聚类： 更新相似度矩阵，反映新簇与其他簇的相似度。
5. 重复步骤3和步骤4： 重复执行步骤3和步骤4，直到达到指定的簇的数量或达到停止条件。
6. 输出结果： 最终形成一棵层次树（树状图），可以通过切割树状图来获取不同数量的簇。

分裂层次聚类（Divisive Hierarchical Clustering）：

分裂层次聚类是凝聚层次聚类的反向过程。它从整个数据集开始，将其分成两个最不相似的簇，然后逐步分裂每个簇，直到达到指定的簇的数量或满足某个停止条件。

层次聚类的优点包括不需要预先指定簇的数量、结果易于可视化，但在处理大规模数据集时可能计算复杂度较高。

下面是使用Python中的 scikit-learn 库进行凝聚层次聚类的简单示例：

from sklearn.cluster import AgglomerativeClustering
import numpy as np
import matplotlib.pyplot as plt
from scipy.cluster.hierarchy import dendrogram, linkage

# 生成随机数据集
np.random.seed(42)
data = np.random.rand(20, 2)

# 使用凝聚层次聚类（假设要分成3个簇）
agg_cluster = AgglomerativeClustering(n_clusters=3, affinity='euclidean', linkage='ward')
labels = agg_cluster.fit_predict(data)

# 打印分配结果
print("分配结果：")
print(labels)

# 绘制层次聚类的树状图（树状图）
linkage_matrix = linkage(data, "ward")
dendrogram(linkage_matrix)
plt.show()

这只是一个简单的例子，实际应用中需要根据数据集的特点和需求进行调整和优化。