层次聚类算法的原理及实现Hierarchical Clustering

最新推荐文章于 2024-03-20 21:41:20 发布
最新推荐文章于 2024-03-20 21:41:20 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： 数据挖掘与分析 文章标签： clustering

 Read more: http://bluewhale.cc/2016-04-19/hierarchical-clusteri


层次聚类(Hierarchical Clustering)是聚类算法的一种，通过计算不同类别数据点间的相似度来创建一棵有层次的嵌套聚类树。在聚类树中，不同类别的原始数据点是树的最低层，树的顶层是一个聚类的根节点。创建聚类树有自下而上合并和自上而下分裂两种方法，本篇文章介绍合并方法。

hierarchicalcluster

层次聚类的合并算法

层次聚类的合并算法通过计算两类数据点间的相似性，对所有数据点中最为相似的两个数据点进行组合，并反复迭代这一过程。简单的说层次聚类的合并算法是通过计算每一个类别的数据点与所有数据点之间的距离来确定它们之间的相似性，距离越小，相似度越高。并将距离最近的两个数据点或类别进行组合，生成聚类树。

欧几里德距离矩阵

层次聚类使用欧式距离来计算不同类别数据点间的距离（相似度）。我们在前面的几篇文章中都曾经介绍过欧氏距离的计算方法，本篇文章将通过创建一个欧式距离矩阵来计算和对比不同类别数据点间的距离，并对距离值最小的数据点进行组合。以下是欧式距离的计算公式。

Euclidean distance

以下为示例数据，我们通过欧氏距离计算下面A到G的欧式距离矩阵，并通过合并的方法将相似度最高的数据点进行组合，并创建聚类树。

数据

创建欧式距离矩阵的方法很简单，将每个类别的数据点分别与A-G中的每个数据点计算距离值，其中A—>B表示数据点A到数据点B的距离，B—>A则代表数据点B到数据点A的距离。这两个距离值是相同的，因此欧式距离矩阵呈对角线对称（绿色部分和蓝色部分）。其中对角线的0值是数据点与自己的距离值。我们将所有数据点间的距离结果进行对比，选择其中距离最近的两个数据点进行组合，并迭代这一过程。下图显示了欧式矩阵的逻辑和计算方法。

欧式距离矩阵1

数据点之间的距离    

对于示例中的数据点，我们通过计算获得了下面的欧式距离矩阵。其中数据点B到数据点C的距离在所有的距离值中最小，为1.00。以下为数据点间距离值的计算公式。

BtoA

经过计算数据点B和数据点C与其他数据点相比有最高的相似度。因此，我们将数据点B和数据点C进行组合。并再次计算其他数据点间的距离。

距离矩阵1

数据点与组合数据点间的距离

将数据点B与数据点C进行组合后，重新计算各类别数据点间的距离矩阵。数据点间的距离计算方式与之前的方法一样。这里需要说明的是组合数据点(B,C)与其他数据点间的计算方法。当我们计算(B,C)到A的距离时，需要分别计算B到A和C到A的距离均值。

BCtoA

经过计算数据点D到数据点E的距离在所有的距离值中最小，为1.20。这表示在当前的所有数据点中（包含组合数据点），D和E的相似度最高。因此我们将数据点D和数据点E进行组合。并再次计算其他数据点间的距离。

距离矩阵2

后面的工作就是不断的重复计算数据点与数据点，数据点与组合数据点间的距离。这个步骤应该由程序来完成。这里由于数据量较小，我们手工计算并列出每一步的距离计算和数据点组合的结果。

这一步中，数据点A和数据点F的距离值在所有距离值中最小，因此我们将A和F进行组合，生成组合数据点（A,F）。

距离矩阵3

到此为止除了数据点G以外，其他的数据点都已经根据距离值（相似度）进行了组合。聚类树的最底层已经完成。下面我们将继续计算组合数据点间的距离，并对相似度最高的组合数据点进行合并。

两个组合数据点间的距离

计算两个组合数据点间距离的方法有三种，分别为Single Linkage，Complete Linkage和Average Linkage。在开始计算之前，我们先来介绍下这三种计算方法以及各自的优缺点。

Single Linkage

Single Linkage的计算方法是将两个组合数据点中距离最近的两个数据点间的距离作为这两个组合数据点的距离。这种方法容易受到极端值的影响。两个很相似的组合数据点可能由于其中的某个极端的数据点距离较近而组合在一起。

Complete Linkage

Complete Linkage的计算方法与Single Linkage相反，将两个组合数据点中距离最远的两个数据点间的距离作为这两个组合数据点的距离。Complete Linkage的问题也与Single Linkage相反，两个不相似的组合数据点可能由于其中的极端值距离较远而无法组合在一起。

Average Linkage

Average Linkage的计算方法是计算两个组合数据点中的每个数据点与其他所有数据点的距离。将所有距离的均值作为两个组合数据点间的距离。这种方法计算量比较大，但结果比前两种方法更合理。

我们使用Average Linkage计算组合数据点间的距离。下面是计算组合数据点(A,F)到(B,C)的距离，这里分别计算了(A,F)和(B,C)两两间距离的均值。

 

AFtoBC

通过计算及对比不同组合数据点间间的距离。(A,F)到(B,C)的距离在所有组合数据点间最小，为13.25。说明(A,F)到(B,C)相似度最高。因此，将(A,F)到(B,C)组合为(A,F,B,C)。

距离矩阵4

使用与之前相同的方法计算出组合数据点(D,E)和G的距离在目前所有组合数据点中最小。为34.70。将(D,E)和G组合为(D,E,G)。

距离矩阵5

最终，通过计算和合并，我们获得了两个组合数据点(A,F,B,C)和(D,E,G)。这也是聚类树的最顶层的两个数据点。下面，我们按之前的计算步骤来构建聚类树。

距离矩阵6

 

层次聚类树状图

将前面的每一步的计算结果以树状图的形式展现出来就是层次聚类树。最底层是原始A到G的7个数据点。依照7个数据点间的相似度组合为聚类树的第二层(A,F),(B,C),(D,E)和G。以此类推生成完整的层次聚类树状图。以下为简单的示意图。



Read more: http://bluewhale.cc/2016-04-19/hierarchical-clustering.html#ixzz4aoqRucXK
办公室里穿拖鞋
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
层次聚类算法C++
06-22
层次聚类算法C++ VS2010 调试运行成功
分层聚类分析 (HCA)：计算欧几里得距离并通过平均值进行聚类。-matlab开发
05-30
使用预处理 (PreP) 例程对数据进行预处理，然后将它们提交给分层聚类分析 (HCA) 例程。 样本之间的距离通过欧氏距离得到，分组通过平均进行。 可以对这些参数进行小的修改。 但是，请始终尝试保留例程的原创性，作者在可能的出版物中尽可能引用它。 永远记住抄袭是犯罪！
重磅综述:精准精神病学机器学习的现代观点
悦影科技
02-05 2899
1. 全局在美国和世界各地，心理健康问题是一种流行病，给医疗保健系统和社会带来了巨大的负担。迄今为止，仍然缺乏生物标志物和个体化治疗指南。近年来，机器学习（ML）和人工智能（AI）在分析精神病学的神经和行为数据的复杂模式方面越来越受欢迎。我们提供了一个全面的回顾ML方法和应用在精准精神病学。我们认为，以ML为动力的现代技术的进步将在当前对精神疾病的诊断、预后、监测和治疗的实践中创造一个范式转变。我们讨论了精准精神病学的概念和实际挑战，并强调了未来的研究方向。2. 摘要根据美国国家精神健康研究所（NIMH）的
“ 天才少年 ”连发3篇Nature ，出道即巅峰，学会这些新技术，您也可以！
悟道西方
03-30 441
为了了解基因组序列如何影响多尺度三维(3D)基因组结构，本手稿提出了一种基于序列的深度学习方法 Orca，该方法可以直接从序列中预测从碱基序列到全染色体尺度的三维基因组结构。Orca 捕获结构的序列依赖性，包括染色质区室和拓扑关联结构域，以及来自 CTCF 介导的增强子-启动子相互作用和 Polycomb 介导的具有细胞类型特异性的相互作用的不同类型的相互作用。Orca 能够实现各种应用，包括预测...
聚类算法之层次聚类（Hierarchical Clustering）
极光喵的博客
03-20 952
层次聚类是一种非常独特和强大的聚类方法，与众多其他的聚类技术相比，它不仅为数据集提供了一个划分，还给出了一个层次结构，这在某些应用中是非常有价值的。继续计算新聚类与其他聚类之间的距离，并合并距离最近的两个聚类。例如，我们可以进一步将{A, B}分裂为两个聚类：{A}和{B}，同时，将{C, D}分裂为两个聚类：{C}和{D}。最后，我们将剩下的两个聚类{A, B, C}和{D}合并为一个聚类{A, B, C, D}。开始时，每个物种都被视为一个单独的聚类，即我们有四个聚类：{A}、{B}、{C}和{D}。
跟着Nature 学作图 | 利用机器学习进行多组学数据分析
weixin_45822007的博客
12-28 235
机器学习算法是生物信息学中非常重要的一个领域，其可以用于数据挖掘、生物信息学数据分析和生物信息学模型构建等方面。机器学习算法能够自动发现数据中的模式和规律，从而帮助人们更快速、准确地进行数据分析和研究。在生物信息学中，机器学习算法的应用非常广泛，例如用于数据挖掘、基因预测、蛋白质结构预测和药物设计等方面。CRISPR-Cas9是源自细菌获得性免疫系统的新一代基因编辑技术，在化学生物学、生物医学及基...
生信专题：机器学习多组学、单细胞组学及空间组学
Rubyhouse的博客
07-27 571
生物信息学的研究重点包括单细胞转录组与空间转录组。单细胞转录组提供了每个细胞内基因表达信息，结合空间转录组可以了解这些细胞在组织甚至器官级别的分布，对于理解动物发育或疾病意义重大。随着近几年的持续火热，单细胞测序技术也从单纯的转录组测序发展为多组学联合分析，包括基因组、转录组、表观基因组、蛋白组以及有空间水平的多组学研究（如空间转录组）。单细胞多组学技术能多层次、多角度地描绘细胞间的异质性，挖掘各层组学之间的直接和潜在联系，从而更加全面和系统地描绘细胞的状态和命运在生命科学和医学多领域有广泛的应用前景。
层次聚类算法原理总结
小白学视觉
01-15 1万+
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达层次聚类(hierarchical clustering)基于簇间的相似度在不同层次上分析数据，从而形成树形的聚类结构...
聚类算法(4)--Hierarchical clustering层次聚类
热门推荐
Andy_shenzl的博客
11-07 6万+
目录 一、层次聚类 1、层次聚类的原理及分类 2、层次聚类的流程 3、层次聚类的优缺点 二、python实现 1、sklearn实现 2、scipy实现 树状图分类判断 一、层次聚类 1、层次聚类的原理及分类 1）层次法（Hierarchicalmethods）先计算样本之间的距离。每次将距离最近的点合并到同一个类。然后，再计算类与类之间的距离，将距离最近的类合并为一个...
关于聚类方法集评价方法的简单调研
junjian Li
10-16 1380
目录 1、介绍 2、样本聚类距离 3、常见聚类方法 –3.1．层次聚类 –3.2．K-means聚类 –3.3．DBSCAN聚类 4、评价指标 –4.1 样本实际类别信息已知 –4.2 样本实际类别信息未知 1、介绍 无监督学习：无监督学习是一种机器学习技术，用于查找数据中的模式。无监督学习是指只有输入数据（X）而没有相应的输出变量。无监督学习的目标是对数据中的底层结构或分布进行建...
09 聚类算法(KMeans/DBSCAN/agg(分层聚类))
March_A的博客
12-17 790
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇，并在具有噪声的空间数据库中发现任意形状的簇，它将簇定义为密度相连的点的最大集合。基于密度这点有什么好处呢，我们知道Kmeans聚类算法只能处理球形的簇，也就是一个聚成实心的团（这是因为算法本身计算平均距离的局限）。但往往现实中还会有各种形状，这个时候，那些传统的聚类算法显然就悲剧了。
基于C语言实现凝聚层次聚类算法（源码）
03-15
凝聚层次聚类算法（Agglomerative Hierarchical Clustering）是一种将数据集中的样本逐步合并为越来越大的簇的聚类算法。在每一步中，该算法将最接近的样本或簇合并，直到满足某个停止条件。
CHAMELEON A Hierarchical Clustering Algorithm ：变色龙的层次聚类算法.ppt
05-29
CHAMELEON A Hierarchical Clustering Algorithm ：变色龙的层次聚类算法.ppt
HierarchicalClustering:Java上的分层聚类算法实现
05-24
这是分层聚类的非常简单的实现，您可能在数据挖掘算法类中听说过。 如果您不熟悉它，请访问了解更多详情。 :) 执行 数据点存储在mPoints ，我们的目标是从中计算mClusters 。 为此，我们为所有成对的数据点保留距离...
层次聚类matlab代码-Hierarchical-clustering-Algorithm:基于单链，完全链和平均链的分层聚类算法的Matl
05-27
层次聚类matlab代码层次聚类算法 matlab代码，采用了单链接，完全链接和平均链接算法的层次聚类算法。
chromedriver-linux64-V124.0.6367.91 稳定版
04-30
chromedriver-linux64-V124.0.6367.91稳定版
基于yolov7 加入 depth回归
最新发布
04-30
在官方的基础上改了检测头、导出onnx（适配tensorrt pro 项目）、测试demo等代码。 能够使用清华V2X数据集进行训练和测试。 https://www.bilibili.com/video/BV1Wd4y1G78M/?vd_source=0223c707743ff3013adaeff54aee3506 数据集来源：https://thudair.baai.ac.cn/index 基于Yolov7 tiny，加入了距离回归 模型没收敛完，随便试了下，所以预测有抖动 使用TRT加速，在AGX Xavier上推理大约4ms V2X使用tools/convertlabel2yolo.ipynb 进行数据集转换
基于STM32F101单片机设计Bluetooth Sentinel 主板硬件（原理图+PCB）工程文件.zip
04-30
基于STM32F101单片机设计Bluetooth Sentinel 主板硬件（原理图+PCB）工程文件，仅供学习设计参考。
层次聚类算法python实现
08-18
### 回答1： 层次聚类是一种无监督学习算法，它可以将数据集中的样本分成具有相似性的若干个簇。以下是使用Python实现层次聚类算法的示例代码： ``` import numpy as np from scipy.spatial.distance import pdist from scipy.cluster.hierarchy import dendrogram, linkage # 生成一个样本数据集 X = np.array([[1, 2], [1.5, 1.8], [5, 8], [8, 8], [1, 0.6], [9, 11]]) # 计算距离矩阵 dist_matrix = pdist(X) # 使用“ward”方法进行层次聚类 Z = linkage(dist_matrix, 'ward') # 生成树状图 dendrogram(Z) # 显示树状图 import matplotlib.pyplot as plt plt.show() ``` 在上面的代码中，我们首先生成了一个样本数据集，然后使用`pdist`函数计算距离矩阵。接着，我们使用`linkage`函数使用“ward”方法进行层次聚类。最后，我们使用`dendrogram`函数生成树状图并使用`matplotlib`库显示出来。 需要注意的是，由于层次聚类算法的时间复杂度较高，因此对于大规模数据集的应用，可能需要使用其他更加高效的算法。 ### 回答2： 层次聚类是一种聚类算法，其主要目标是将数据样本分成不同的组或类。它的实现方式在Python中可以使用scikit-learn或者其他机器学习库来完成。 在Python中，一个常用的层次聚类算法实现方法是使用scikit-learn库中的AgglomerativeClustering类。该类需要指定聚类的参数，例如聚类的数量或者距离度量方式。下面是一个简单的示例代码： ```python from sklearn.cluster import AgglomerativeClustering import numpy as np # 生成示例数据 X = np.array([[1, 2], [1.5, 1.8], [5, 8], [8, 8], [1, 0.6], [9, 11]]) # 定义层次聚类模型并拟合数据 model = AgglomerativeClustering(n_clusters=2) model.fit(X) # 输出每个数据点所属的聚类编号 print(model.labels_) ``` 在上面的代码中，首先导入必要的库，然后生成示例数据X。接下来定义一个AgglomerativeClustering对象，并指定聚类的数量为2。然后调用fit函数拟合数据。 最后输出每个数据点所属的聚类编号。这里将输出一个长度为6的数组，代表每个数据点属于哪个聚类。 以上是层次聚类算法在Python中的一种实现方式。你可以根据自己的需求选择其他合适的聚类算法和库，根据数据的特点进行调整、优化和评估。 ### 回答3： 层次聚类算法（Hierarchical Clustering）是一种基于距离的聚类算法，通过逐步合并样本或聚类，构建一个树状结构，最终将所有样本或聚类划分为不同的簇。在Python中，可以使用scikit-learn库中的AgglomerativeClustering来实现层次聚类算法。 步骤如下： 1. 导入必要的库： ``` from sklearn.cluster import AgglomerativeClustering ``` 2. 准备数据： ``` X = [[1, 2], [3, 4], [1, 4], [2, 2], [3, 3]] ``` 3. 创建层次聚类对象： ``` agg_clustering = AgglomerativeClustering(n_clusters=2) ``` 4. 进行聚类： ``` labels = agg_clustering.fit_predict(X) ``` 5. 输出结果： ``` print(labels) ``` 这样就可以得到每个样本所属的簇的标签。层次聚类算法基于距离计算，通过不断合并样本或聚类，构建出一个树状结构。在这个树状结构中，可以根据需要选择合适的层次作为最终的聚类结果。 总结一下，层次聚类算法是一种基于距离的聚类算法，通过逐步合并样本或聚类，构建一个树状结构，将所有样本或聚类划分为不同的簇。在Python中，可以使用scikit-learn库中的AgglomerativeClustering来实现该算法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值