python 凝聚层次聚类_关于层次聚类算法的python实现

from scipy.cluster import hierarchy

0.层次聚类的概念

层次聚类和k-means一样都是很常用的聚类方法。层次聚类是对群体的划分,最终将样本划分为树状的结构。他的基本思路是每个样本先自成一类,然后按照某种规则进行合并,直到只有一类或者某一类的样本只有一个点。层次聚类又分为自底而上的聚合层次聚类和自顶而下的分裂层次聚类。

0.1 聚合层次聚类

每一个点初始为1类,得到N(样本点个数)类,计算每一类之间的距离,计算方法有很多,具体可以参考距离的计算方法。聚合层次聚类方法的终止条件是所有样本点都处于同一类了,或者两类之间的距离超过设置的某个阈值。大多数层次聚类都是聚合层次聚类。

0.2 分裂层次聚类

和聚合层次聚类是反着的,属于自上而下的一种聚类方法。刚开始的时候所有的样本点都位于同一类,然后一步步划分,终止条件是所有的样本点都位于单独的一类,或者两类之间的距离超过设置的某个阈值。

下面这个图可以比较好的说明这个过程:

916aab25cda7

层次聚类的两种方法

1.凝聚层次聚类算法步骤

1.1 算法过程

1)N个样本单独成类,G1(0)、G2(0)、G3(0)、……、GN(0),0代表初始状态。

2)更新距离矩阵D(n),找出D(n)中最小值,把对应的两类合并为1类。

3)更新距离矩阵D(n+1),重复步骤2-3。

当两类之间的最小距离小于给定的阈值或者所有样本都单独成类的时候,结束算法。

1.2算法案例

有个老师带了五个学生,想给学生分组,让他们分组学习,采用层次聚类来对学生进行聚类,基础数据如下图。

916aab25cda7

学生基础数据

先来算距离D(0),就采用欧式距离就好了。

916aab25cda7

初始距离矩阵

找到最小的那两个合并为1类。

916aab25cda7

合并后的新数据

然后计算更新后的距离D(1)

916aab25cda7

合并的后新距离

以后的以此类推:

916aab25cda7

聚类的整体过程

我们看到其实124是一类,35是一类。

画出图来就是下面这个格式:

916aab25cda7

聚类结果

3.Python处理层次聚类的包

用的是在scipy.cluster里的hierarchy方法,下面来看代码,支持hierarchical clustering 和 agglomerative clustering。

首先来看一些基本函数的用法

linkage

scipy.cluster.hierarchy.linkage(data,method = 'single')

method 参数是类距离的计算公式

singele 两个类之间最短的点的距离

complete 两个类之间最长距离的点的距离

centroid 两个类所有点的中点的距离

pdist计算样本点之间的两两距离

scipy.cluster.hierarchy.distance.pdist(data, metric='euclidean')

metric参数是求距离的方法,默认是欧氏距离,可选的还有:

‘braycurtis’, ‘canberra’, ‘chebyshev’, ‘cityblock’, ‘correlation’, ‘cosine’, ‘dice’, ‘euclidean’, ‘hamming’, ‘jaccard’, ‘jensenshannon’, ‘kulsinski’, ‘mahalanobis’, ‘matching’, ‘minkowski’, ‘rogerstanimoto’, ‘russellrao’, ‘seuclidean’, ‘sokalmichener’, ‘sokalsneath’, ‘sqeuclidean’, ‘yule’

关于求距离的函数我可能还会再更一篇文章,感兴趣的朋友可以等一下。笔者之前算字符相似度自己还写了一个杰尔卡德相似度,现在看看真实太费事了。

dendrogram(linkage)

scipy.cluster.hierarchy.dendrogram(linkage),这个函数是画图用的。

import numpy

import pandas

from sklearn import datasets

import scipy.cluster.hierarchy as hcluster

import scipy

#iris = datasets.load_iris()

#data = iris.data

#target = iris.target

points=scipy.randn(20,4)

# Compute and plot first dendrogram.

linkage = hcluster.linkage(points, method='centroid')

hcluster.dendrogram(linkage, leaf_font_size=10.)

p = hcluster.fcluster( linkage, 3, criterion='maxclust')

聚类结果如下图所示:

916aab25cda7

聚类结果

以上就是层次聚类的简单应用,当然有不同的需求可以继续探索一些函数的参数,这个方法还是很好用的。

参与评论 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:数字20 设计师:CSDN官方博客 返回首页

打赏作者

温哥华小文青

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值