聚类算法：Hierarchical Clustering层次聚类

已于 2024-07-21 11:48:56 修改
阅读量4.3w 收藏 243
点赞数 39
文章标签： 聚类
于 2020-01-09 16:44:44 首次发布
原文链接：https://blog.csdn.net/Andy_shenzl/article/details/83783469
版权

1. 层次聚类

1.1 层次聚类的原理及分类

1）层次法（Hierarchicalmethods）：先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后，再计算类与类之间的距离，将距离最近的类合并为一个大类。不停的合并，直到合成了一个类。其中类与类的距离的计算方法有：最短距离法，最长距离法，中间距离法，类平均法等。比如最短距离法，将类与类的距离定义为类与类之间样本的最短距离。

层次聚类算法根据层次分解的顺序分为：自下向上和自上向下，即凝聚的层次聚类算法和分裂的层次聚类算法（agglomerative和divisive），也可以理解为自下而上法（bottom-up）和自上而下法（top-down）。

自下而上法：凝聚型层次聚类，就是一开始每个个体（object）都是一个类，然后根据linkage寻找同类，最后形成一个“类”。

自上而下法：分裂型层次聚类，就是反过来，一开始所有个体都属于一个“类”，然后根据linkage排除异己，最后每个个体都成为一个“类”。

这两种路方法没有孰优孰劣之分，只是在实际应用的时候要根据数据特点以及你想要的“类”的个数，来考虑是自上而下更快还是自下而上更快。根据linkage判断”类”的方法就是：最短距离法、最长距离法、中间距离法、类平均法等，其中类平均法往往被认为是最常用也最好用的方法，一方面因为其良好的单调性，另一方面因为其空间扩张/浓缩的程度适中。

为弥补分解与合并的不足，层次合并经常要与其它聚类方法相结合，如循环定位。

2）Hierarchical methods中比较新的算法有：

BIRCH（Balanced Iterative Reducingand Clustering Using Hierarchies利用层次方法的平衡迭代规约和聚类）主要是在数据量很大的时候使用，而且数据类型是numerical。首先利用树的结构对对象集进行划分，然后再利用其它聚类方法对这些聚类进行优化；

sklearn.cluster.Birch

ROCK（A Hierarchical ClusteringAlgorithm for Categorical Attributes）主要用在categorical的数据类型上；

Chameleon（A Hierarchical Clustering AlgorithmUsing Dynamic Modeling）里用到的linkage是kNN（k-nearest-neighbor）算法，并以此构建一个graph，Chameleon的聚类效果被认为非常强大，比BIRCH好用，但运算复杂度很高，O(n^2)。

1.2 层次聚类的流程

凝聚型层次聚类的策略是先将每个对象作为一个簇，然后合并这些原子簇为越来越大的簇，直到所有对象都在一个簇中，或者某个终结条件被满足。绝大多数层次聚类属于凝聚型层次聚类，它们只是在簇间相似度的定义上有所不同。 这里给出采用最小距离的凝聚层次聚类算法流程：

(1) 将每个对象看作一类，计算两两之间的最小距离；

(2) 将距离最小的两个类合并成一个新类；

(3) 重新计算新类与所有类之间的距离；

(4) 重复(2)、(3)，直到所有类最后合并成一类。

另外我们可以看出凝聚的层次聚类并没有类似基本K均值的全局目标函数，没有局部极小问题或是很难选择初始点的问题。合并的操作往往是最终的，一旦合并两个簇之后就不会撤销。当然其计算存储的代价是昂贵的。

1.3 层次聚类的优缺点、

优点：

1，距离和规则的相似度容易定义，限制少；

2，不需要预先制定聚类数；

3，可以发现类的层次关系；

4，可以聚类成其它形状

缺点：

1，计算复杂度太高；

2，奇异值也能产生很大影响；

3，算法很可能聚类成链状

1.4 聚类质量

聚类质量的评价方法，本质上，都是根据簇内和簇间的效果对比进行衡量。

（1）轮廓系数（Silhouette Coefficient）

使用轮廓系数评估聚类质量。 对于n个对象的数据集D，假设D被划分为k个簇。对于D中的每个对象o，计算它和它所属的簇的其他对象的平均距离a(o)。类似的，计算它和它不属于的簇的最小平均距离b(o)。对数据集中的每个对象计算轮廓系数然后取平均值作为聚类的质量度量。轮廓系数的取值范围是[-1,1]，越靠近1代表聚类质量越好，越靠近-1代表聚类质量越差。

          

  • 计算样本i到同簇其他样本的平均距离ai，ai越小，说明样本i越应该被聚类到该簇。将ai 成为样本i的簇内不相似度。

  • 计算样本i到其他某簇Cj的所有样本的平均距离bij，称为样本i与簇cj的不相似度。定义为样本i的簇间不相似度：bi=min{bi1,bi2,......bik}

  • si接近1，则说明样本i聚类合理。

  • si接近-1，则说明样本i更应该分类到另外的簇。

  • 若si近似为0，则说明样本i在两个簇的边界上。               

代码：sklearn.metric库的silhouette_score函数，silhouette_score的参数有：X、labels、metric，X为距离矩阵，labels为聚类结果，metric为度量方法。由于我们输入的是距离矩阵，因此选择"precomputed"。

from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt
silhouettteScore = []
for i in range(2,15):
    # 构建并训练模型
    kmeans = KMeans(n_clusters = i,random_state=123).fit(iris_data)
    score = silhouette_score(iris_data,kmeans.labels_)
    silhouettteScore.append(score)
plt.figure(figsize=(10,6))
plt.plot(range(2,15),silhouettteScore,linewidth=1.5, linestyle="-")
plt.show()

（2）Calinski-Harabasz指数

                                                                  

  • n：表示聚类的数目；

  • k：表示当前的类

  • trB(k)：表示类间离差矩阵的迹

  • trW(k)：表示类内离差矩阵的迹。

可以得出：CH越大代表着类自身越紧密，类与类之间越分散，即更优的聚类结果。

from sklearn.metrics import calinski_harabaz_score
for i in range(2,7):
    # 构建并训练模型
    kmeans = KMeans(n_clusters = i,random_state=123).fit(iris_data)
    score = calinski_harabaz_score(iris_data,kmeans.labels_)
    print('iris数据聚%d类calinski_harabaz指数为：%f'%(i,score))

（3）FMI：需要真实值

from sklearn.metrics import fowlkes_mallows_score
for i in range(2,7):
    ##构建并训练模型
    kmeans = KMeans(n_clusters = i,random_state=123).fit(iris_data)
    score = fowlkes_mallows_score(iris_target,kmeans.labels_)
    print('iris数据聚%d类FMI评价分值为：%f' %(i,score))

2. python代码实现

2.1 sklearn实现

参数详解：

sklearn库下的层次聚类是在sklearn.cluster的 AgglomerativeClustering中：

AgglomerativeClustering类的构造函数的参数有簇的个数n_clusters，连接方法linkage，连接度量选项affinity三个重要参数。下面就这三个参数进行描述。

  • 簇的个数n_clusters：需要用户指定的，按照常理来说，凝聚层次聚类是不需要指定簇的个数的，但是sklearn的这个类需要指定簇的个数。算法会根据簇的个数判断最终的合并依据，这个参数会影响聚类质量。

  • 连接方法linkage：指的是衡量簇与簇之间的远近程度的方法。具体说来包括最小距离，最大距离和平均距离三种方式。对应于簇融合的方法，即簇间观测点之间的最小距离作为簇的距离，簇间观测点之间的最大距离作为簇的距离，以及簇间观测点之间的平均距离作为簇的距离。一般说来，平均距离是一种折中的方法。

  • 连接度量affinity：是一个簇间距离的计算方法，包括各种欧式空间的距离计算方法以及非欧式空间的距离计算方法。此外，该参数还可以设置为‘precomputed’，即用户输入计算好的距离矩阵。距离矩阵的生成方法：假设用户有n个观测点，那么先依次构造这n个点两两间的距离列表，即长度为n*(n-1)/2的距离列表，然后通过scipy.spatial.distance的dist库的squareform函数就可以构造距离矩阵了。这种方式的好处是用户可以使用自己定义的方法计算任意两个观测点的距离，然后再进行聚类。 聚类结束以后，需要对聚类质量进行评估。

实例：

from sklearn.cluster import AgglomerativeClustering
import numpy as np

X = [[1,2],[3,2],[4,4],[1,2],[1,3]]    # 生成数据

clustering = AgglomerativeClustering().fit(X)  # 训练模型

clustering.labels_ 

array([1, 0, 0, 1, 1])

clustering.children_

array([[0, 3],
       [4, 5],
       [1, 2],
       [6, 7]])

简单解释下(后面还会详细说明)：

X一共有5个样本，那么在进行层次聚类是，这5个样本各自一类，类别名称是0、1、2、3、4

第一行：[0, 3]意思是类别0和类别3距离最近，首先聚成一类，并自动定义类别为5(=len(X)-1+1)

第二行：[4, 5]意思是类别4和上面聚类的新类别5距离为第二近，4、5聚成一类，类别为6(=len(X)-1+2)

第三行：[1, 2]意思是类别1、类别2距离为第三近，聚成一类，类别为7(=len(X)-1+3)

第四行：[6, 7]意思是类别6、7距离为第四近，聚成一类，类别为8(=len(X)-1+4)

因为类别5有两个样本，加上类别4形成类别6，有3个样本；

类别7是类别1、2聚类形成，有两个样本；

类别6、7聚成一类后，类别8有5个样本，这样X全部样本参与聚类，聚类完成。

这样大家可能觉得优点乱，所以建议大家进行层次聚类是可以用下面的方法。

2.2 scipy实现

简单介绍：

（1）linkage(y, method=’single’, metric=’euclidean’)

共包含3个参数: y是距离矩阵,可以是1维压缩向量（距离向量），也可以是2维观测向量（坐标矩阵）。若y是1维压缩向量，则y必须是n个初始观测值的组合，n是坐标矩阵中成对的观测值。返回值：(n-1)*4的矩阵Z（后面会仔细的讲解返回值各个字段的含义）

linkage方法用于计算两个聚类簇s和t之间的距离d(s,t)，这个方法的使用在层次聚类之前。当s和t形成一个新的聚类簇u时，s和t被从森林（已经形成的聚类簇群）中移除，而用新的聚类簇u来代替。当森林中只有一个聚类簇时算法停止。而这个聚类簇就成了聚类树的根。 距离矩阵在每次迭代中都将被保存，d[i,j]对应于第i个聚类簇与第j个聚类簇之间的距离。每次迭代必须更新新形成的聚类簇之间的距离矩阵。 假定现在有|u|个初始观测值u[0],...,u[|u|-1]在聚类簇u中，有|v|个初始对象v[0],...,v[|v|-1]在聚类簇v中。回忆s和t合并成u。让v成为森林中的聚类簇，而不是u。

method是指计算类间距离的方法,比较常用的有3种: (1)single:最近邻,把类与类间距离最近的作为类间距 (2)complete:最远邻,把类与类间距离最远的作为类间距 (3)average:平均距离,类与类间所有pairs距离的平均 其他的method还有如weighted,centroid等等,具体可以参考: 

http://docs.scipy.org/doc/scipy/reference/generated/scipy.cluster.hierarchy.linkage.html#scipy.cluster.hierarchy.linkage

（2）fcluster(Z, t, criterion=’inconsistent’, depth=2, R=None, monocrit=None)

第一个参数Z是linkage得到的矩阵,记录了层次聚类的层次信息; t是一个聚类的阈值-“The threshold to apply when forming flat clusters”,在实际中,感觉这个阈值的选取还是蛮重要的. 其他的参数我用的是默认的,具体可以参考:

http://docs.scipy.org/doc/scipy/reference/generated/scipy.cluster.hierarchy.fcluster.html#scipy.cluster.hierarchy.fcluster

为了跟前面sklearn进行对照，我们再来重新做一遍，顺便详细介绍下 

from scipy.cluster.hierarchy import dendrogram, linkage,fcluster
from matplotlib import pyplot as plt
X = [[1,2],[3,2],[4,4],[1,2],[1,3]]
Z = linkage(X, 'ward')
f = fcluster(Z,4,'distance')
fig = plt.figure(figsize=(5, 3))
dn = dendrogram(Z)
plt.show()

                                                            

同时我们看下Z：numpy.ndarry。

层次聚类编码为一个linkage矩阵。Z共有四列组成，第一字段与第二字段分别为聚类簇的编号，在初始距离前每个初始值被从0~n-1进行标识，每生成一个新的聚类簇就在此基础上增加一对新的聚类簇进行标识，第三个字段表示前两个聚类簇之间的距离，第四个字段表示新生成聚类簇所包含的元素的个数。

array([[0.        , 3.        , 0.        , 2.        ],
       [4.        , 5.        , 1.15470054, 3.        ],
       [1.        , 2.        , 2.23606798, 2.        ],
       [6.        , 7.        , 4.00832467, 5.        ]])

我们可以根据树状图来进行分类，运用切割法进行：

树状图分类判断

想分两类时，就从上往下数有两根竖线时进行切割，那么所对应的竖线下面所连接的为一类

例如，左边竖线下面链接的样本有4、0、3，那么4、0、3就聚为一类，

右边竖线相连的样本有1、2，那么1、2就聚为一类。

想分三类时

 就从上往下数有三根竖线时进行切割，那么所对应的竖线下面所连接的为一类

例如，左边竖线下面链接的样本有4、0、3，那么4、0、3就聚为一类，

中间竖线相连的样本有1，那么1就聚为一类，

右边竖线相连的样本有2，那么2就聚为一类。
 

Python实现简单层次聚类算法以及可视化
09-19
主要为大家详细介绍了Python实现简单层次聚类算法以及可视化，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
【聚类算法】层次聚类
大雨淅淅的博客
09-16 1369
层次聚类算法是一种无监督学习方法，用于将数据集中的样本根据相似性分组成多个层次的嵌套簇。该算法不依赖于预先指定的簇数量，而是通过构建一个聚类树（或称为树状图）来表示数据点之间的关系。层次聚类可以分为凝聚（自底向上）和分裂（自顶向下）两种策略。
机器学习——层次聚类
T940842933的博客
08-02 2949
层次聚类（Hierarchical Clustering）是一类算法的总称，分为两种方式：凝聚法：从下往上不断合并簇，将小类进行聚合分裂法：从上往下不断分离簇，将大类分割成小类。
聚类分析算法——层次聚类 详解
最新发布
goTsHgo的博客
10-25 2146
层次聚类（Hierarchical Clustering）是一种无监督的机器学习方法，通过递归地对数据进行合并（或拆分），构建一个类似树的聚类结构，称为“树状图”（Dendrogram）。该算法通常用于探索数据的层次结构。根据聚类方向的不同，层次聚类可以分为“自底向上”（凝聚式聚类）和“自顶向下”（分裂式聚类）两种方法。
层次聚类算法
06-21
层次聚类分析算法Python实现,并以数据集为例进行聚类演示
层次聚类算法原理总结
小白学视觉
01-15 1万+
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达层次聚类(hierarchical clustering)基于簇间的相似度在不同层次上分析数据，从而形成树形的聚类结构...
层次聚类 Hierarchical Clustering
JasonH2021的博客
06-03 1万+
本文主要简单介绍了层次聚类的基本概念，优缺点，应用场景，建模时的注意事项，评价指标，实现方法，示例和模型的参数等。
层次聚类算法C++
06-22
2. **聚类合并策略**：层次聚类有两种主要类型：凝聚型（Agglomerative）和分裂型（Divisive）。凝聚型从单个数据点开始，逐步合并最近的聚类；分裂型则从所有数据点在一个大聚类开始，然后逐渐拆分。VS2010项目中...
层次聚类matlab代码-Hierarchical-clustering-Algorithm:基于单链，完全链和平均链的分层聚类算法的Matl
05-27
在这个压缩包文件“Hierarchical-clustering-Algorithm-master”中，包含的是用 MATLAB 编写的实现层次聚类算法的代码，主要覆盖了三种不同的连接方式：单链（single linkage）、完全链（complete linkage）和平均链...
基于C语言实现凝聚层次聚类算法（源码）
03-15
凝聚层次聚类算法（Agglomerative Hierarchical Clustering）是一种将数据集中的样本逐步合并为越来越大的簇的聚类算法。在每一步中，该算法将最接近的样本或簇合并，直到满足某个停止条件。
HierarchicalClustering:Java上的分层聚类算法实现
05-24
层次聚类Impl。 在Java上 这是分层聚类的非常简单的实现，您可能在数据挖掘算法类中听说过。 如果您不熟悉它，请访问了解更多详情。 :) 执行 数据点存储在mPoints ，我们的目标是从中计算mClusters 。 为此，我们为...
层次聚类(Hierarchical Clustering) 原理与代码实例讲解
AI大模型应用之禅
06-21 1447
层次聚类(Hierarchical Clustering) - 原理与代码实例讲解 1. 背景介绍 在数据挖掘和机器学习领域,聚类分析是一个重要的研究方向。聚类的目标是将数据集中的样本点划分成若干个通常是不相交的子集,每个子集称为一个&quot
【机器学习】层次聚类、密度聚类以及谱聚类
Daycym的博客
12-05 4557
前言 K-means 聚类，介绍了 K-means 算法以及一些优化改进的算法，通过此了解聚类分析，接下来我们进一步的介绍聚类分析的其他方法。 一、层次聚类 \quad\quad层次聚类技术是第二类重要的聚类方法。层次聚类方法对给定的数据集进行层次的分解，直到满足某种条件为止，传统的层次聚类算法主要分为两大类算法： 凝聚的层次聚类：AGNES算法(AGglomerative NESting) →...
聚类算法——层次聚类算法
热门推荐
lin
02-11 1万+
每篇一句： You must strive to find your own voice. Because the longer you wait to begin, the less likely you are to find it at all. –你必须努力去寻找自己的声音，因为你越迟开始寻找，找到的可能性越小。 层次聚类算法： 层次聚类算法 （Hierarchical Clu
层次聚类算法python实现
08-18
### 回答1： 层次聚类是一种无监督学习算法，它可以将数据集中的样本分成具有相似性的若干个簇。以下是使用Python实现层次聚类算法的示例代码： ``` import numpy as np from scipy.spatial.distance import pdist from scipy.cluster.hierarchy import dendrogram, linkage # 生成一个样本数据集 X = np.array([[1, 2], [1.5, 1.8], [5, 8], [8, 8], [1, 0.6], [9, 11]]) # 计算距离矩阵 dist_matrix = pdist(X) # 使用“ward”方法进行层次聚类 Z = linkage(dist_matrix, 'ward') # 生成树状图 dendrogram(Z) # 显示树状图 import matplotlib.pyplot as plt plt.show() ``` 在上面的代码中，我们首先生成了一个样本数据集，然后使用`pdist`函数计算距离矩阵。接着，我们使用`linkage`函数使用“ward”方法进行层次聚类。最后，我们使用`dendrogram`函数生成树状图并使用`matplotlib`库显示出来。 需要注意的是，由于层次聚类算法的时间复杂度较高，因此对于大规模数据集的应用，可能需要使用其他更加高效的算法。 ### 回答2： 层次聚类是一种聚类算法，其主要目标是将数据样本分成不同的组或类。它的实现方式在Python中可以使用scikit-learn或者其他机器学习库来完成。 在Python中，一个常用的层次聚类算法实现方法是使用scikit-learn库中的AgglomerativeClustering类。该类需要指定聚类的参数，例如聚类的数量或者距离度量方式。下面是一个简单的示例代码： ```python from sklearn.cluster import AgglomerativeClustering import numpy as np # 生成示例数据 X = np.array([[1, 2], [1.5, 1.8], [5, 8], [8, 8], [1, 0.6], [9, 11]]) # 定义层次聚类模型并拟合数据 model = AgglomerativeClustering(n_clusters=2) model.fit(X) # 输出每个数据点所属的聚类编号 print(model.labels_) ``` 在上面的代码中，首先导入必要的库，然后生成示例数据X。接下来定义一个AgglomerativeClustering对象，并指定聚类的数量为2。然后调用fit函数拟合数据。 最后输出每个数据点所属的聚类编号。这里将输出一个长度为6的数组，代表每个数据点属于哪个聚类。 以上是层次聚类算法在Python中的一种实现方式。你可以根据自己的需求选择其他合适的聚类算法和库，根据数据的特点进行调整、优化和评估。 ### 回答3： 层次聚类算法（Hierarchical Clustering）是一种基于距离的聚类算法，通过逐步合并样本或聚类，构建一个树状结构，最终将所有样本或聚类划分为不同的簇。在Python中，可以使用scikit-learn库中的AgglomerativeClustering来实现层次聚类算法。 步骤如下： 1. 导入必要的库： ``` from sklearn.cluster import AgglomerativeClustering ``` 2. 准备数据： ``` X = [[1, 2], [3, 4], [1, 4], [2, 2], [3, 3]] ``` 3. 创建层次聚类对象： ``` agg_clustering = AgglomerativeClustering(n_clusters=2) ``` 4. 进行聚类： ``` labels = agg_clustering.fit_predict(X) ``` 5. 输出结果： ``` print(labels) ``` 这样就可以得到每个样本所属的簇的标签。层次聚类算法基于距离计算，通过不断合并样本或聚类，构建出一个树状结构。在这个树状结构中，可以根据需要选择合适的层次作为最终的聚类结果。 总结一下，层次聚类算法是一种基于距离的聚类算法，通过逐步合并样本或聚类，构建一个树状结构，将所有样本或聚类划分为不同的簇。在Python中，可以使用scikit-learn库中的AgglomerativeClustering来实现该算法。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值