Scikit-network-07：层次聚类Hierarchy

已于 2023-01-30 09:03:13 修改
阅读量239 收藏 1
点赞数
分类专栏： # Scikit-network 文章标签： scikit-network python 层次聚类 hierarchy
于 2023-01-29 23:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/128792681
版权

Hierarchy|层次聚类

Paris

介绍基于Paris算法的图层次聚类, Paris是基于linkage算聚类距离的。

from IPython.display import SVG
import numpy as np
from sknetwork.data import karate_club, painters, movie_actor

from sknetwork.hierarchy import Paris, cut_straight, dasgupta_score, tree_sampling_divergence
from sknetwork.visualization import svg_graph, svg_digraph, svg_bigraph, svg_dendrogram
图
graph = karate_club(metadata=True)
adjacency = graph.adjacency
position = graph.position

paris = Paris()
dendrogram = paris.fit_transform(adjacency)  # 谱系结构

image = svg_dendrogram(dendrogram)
SVG(image)

在这里插入图片描述

# cuts of the dendrogram
labels = cut_straight(dendrogram)
print(labels)

# [1 1 1 1 1 1 1 1 0 1 1 1 1 1 0 0 1 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0]

n_clusters = 4
labels, dendrogram_aggregate = cut_straight(dendrogram, n_clusters, return_dendrogram=True)
print(labels)

# [0 0 0 0 3 3 3 0 1 0 3 0 0 0 1 1 3 0 1 0 1 0 1 2 2 2 2 2 2 2 1 2 1 1]

_, counts = np.unique(labels, return_counts=True)
print(_, counts)

[0 1 2 3] [12  9  8  5]

# aggregate dendrogram
image = svg_dendrogram(dendrogram_aggregate, names=counts, rotate_names=False)
SVG(image)

在这里插入图片描述

# corresponding clustering

image = svg_graph(adjacency, position, labels=labels)
SVG(image)

在这里插入图片描述

有向图
graph = painters(metadata=True)
adjacency = graph.adjacency
position = graph.position
names = graph.names

# hierarchical clustering
paris = Paris()
dendrogram = paris.fit_transform(adjacency)

image = svg_dendrogram(dendrogram, names, n_clusters=3, rotate=True)
SVG(image)

在这里插入图片描述

# cut with 3 clusters

labels = cut_straight(dendrogram, n_clusters = 3)
print(labels)
# [0 0 1 0 1 1 2 0 0 1 0 0 0 2]

image = svg_digraph(adjacency, position, names=names, labels=labels)
SVG(image)

在这里插入图片描述

# metrics

dasgupta_score(adjacency, dendrogram)
# 0.5842857142857143
二部图
graph = movie_actor(metadata=True)
biadjacency = graph.biadjacency
names_row = graph.names_row
names_col = graph.names_col

# hierarchical clustering
paris = Paris()
paris.fit(biadjacency)
dendrogram_row = paris.dendrogram_row_
dendrogram_col = paris.dendrogram_col_
dendrogram_full = paris.dendrogram_full_

image = svg_dendrogram(dendrogram_row, names_row, n_clusters=4, rotate=True)
SVG(image)

在这里插入图片描述

image = svg_dendrogram(dendrogram_col, names_col, n_clusters=4, rotate=True)
SVG(image)

在这里插入图片描述

# cuts
labels = cut_straight(dendrogram_full, n_clusters=4)
n_row = biadjacency.shape[0]
labels_row = labels[:n_row]
labels_col = labels[n_row:]

image = svg_bigraph(biadjacency, names_row, names_col, labels_row, labels_col)
SVG(image)

在这里插入图片描述

Ward

介绍基于Ward算法的图层次聚类, Ward是基于离差平方和ESS算聚类距离的。

from IPython.display import SVG
import numpy as np
from sknetwork.data import karate_club, painters, movie_actor
from sknetwork.embedding import Spectral
from sknetwork.hierarchy import Ward, cut_straight, dasgupta_score, tree_sampling_divergence
from sknetwork.visualization import svg_graph, svg_digraph, svg_bigraph, svg_dendrogram
图
graph = karate_club(metadata=True)
adjacency = graph.adjacency
position = graph.position

# hierachical clustering
ward = Ward()
dendrogram = ward.fit_transform(adjacency)
image = svg_dendrogram(dendrogram)
SVG(image)

在这里插入图片描述

# cuts
labels = cut_straight(dendrogram)
print(labels)
# [0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 1 0 1 0 1 0 0 0 0 0 0 0 0 0 1 1]

n_cluster = 4
labels, dendrogram_aggregate = cut_straight(dendrogram, n_cluster, return_dendrogram=True)
print(labels)
# [0 2 0 3 0 0 0 3 0 0 0 0 3 3 1 1 0 2 1 2 1 2 1 0 0 0 0 0 0 0 0 0 1 1]

_, counts = np.unique(labels, return_counts=True)

# aggragate dendrogram
image = svg_dendrogram(dendrogram_aggregate, names=counts, rotate_names=False)
SVG(image)

在这里插入图片描述

# clustering
image = svg_graph(adjacency, position, labels=labels)
SVG(image)

在这里插入图片描述

# metrics
dasgupta_score(adjacency, dendrogram)
# 0.5082956259426847

# other embedding
ward = Ward(embedding_method=Spectral(4))
有向图
graph = painters(metadata=True)
adjacency = graph.adjacency
position = graph.position
names = graph.names

# hierarchical clustering
ward = Ward()
dendrogram = ward.fit_transform(adjacency)

image = svg_dendrogram(dendrogram, names, n_clusters=3, rotate=True)
SVG(image)

在这里插入图片描述

# cut with 3 clusters
labels = cut_straight(dendrogram, n_clusters=3)
print(labels)
# [0 0 1 1 0 2 0 0 0 2 0 1 0 0]

image = svg_digraph(adjacency, position, names=names, labels=labels)
SVG(image)

# metrics
dasgupta_score(adjacency, dendrogram)
# 0.31285714285714294

在这里插入图片描述

二部图
graph = movie_actor(metadata=True)
biadjacency = graph.biadjacency
names_row = graph.names_row
names_col = graph.names_col

# hierarchical clustering
ward = Ward(co_cluster=True)
ward.fit(biadjacency)

dendrogram_row = ward.dendrogram_row_
dendrogram_col = ward.dendrogram_col_
dendrogram_full = ward.dendrogram_full_

image = svg_dendrogram(dendrogram_row, names_row, n_clusters=4, rotate=True)
SVG(image)

在这里插入图片描述

image = svg_dendrogram(dendrogram_col, names_col, n_clusters=4, rotate=True)
SVG(image)

在这里插入图片描述

# cuts
labels = cut_straight(dendrogram_full, n_clusters = 4)
n_row = biadjacency.shape[0]
labels_row = labels[:n_row]
labels_col = labels[n_row:]

image = svg_bigraph(biadjacency, names_row, names_col, labels_row, labels_col)
SVG(image)

在这里插入图片描述

Louvain

介绍基于Louvain算法的图层次聚类, Louvain是基于模块度算聚类距离的。

from IPython.display import SVG
import numpy as np
from sknetwork.data import karate_club, painters, movie_actor
from sknetwork.hierarchy import LouvainHierarchy
from sknetwork.hierarchy import cut_straight, dasgupta_score, tree_sampling_divergence
from sknetwork.visualization import svg_graph, svg_digraph, svg_bigraph, svg_dendrogram
图
graph = karate_club(metadata=True)
adjacency = graph.adjacency
position = graph.position

# hierarchical clustering
louvain_hierarchy = LouvainHierarchy()
dendrogram = louvain_hierarchy.fit_transform(adjacency)

image = svg_dendrogram(dendrogram)
SVG(image)

在这里插入图片描述

# cuts
labels = cut_straight(dendrogram)
print(labels)
# [0 0 0 0 3 3 3 0 1 0 3 0 0 0 1 1 3 0 1 0 1 0 1 2 2 2 1 2 2 1 1 2 1 1]

labels, dendrogram_aggregate = cut_straight(dendrogram, n_clusters=4, return_dendrogram=True)
print(labels)
# [0 0 0 0 3 3 3 0 1 0 3 0 0 0 1 1 3 0 1 0 1 0 1 2 2 2 1 2 2 1 1 2 1 1]

_, counts = np.unique(labels, return_counts=True)
image = svg_dendrogram(dendrogram_aggregate, names=counts, rotate_names=False)
SVG(image)

在这里插入图片描述

image = svg_graph(adjacency, position, labels=labels)
SVG(image)
# metrics
dasgupta_score(adjacency, dendrogram)
# 0.6293363499245852

在这里插入图片描述

有向图
graph = painters(metadata=True)
adjacency = graph.adjacency
position = graph.position
names = graph.names

# hierarchical clustering
louvain_hierarchy = LouvainHierarchy()
dendrogram = louvain_hierarchy.fit_transform(adjacency)

image = svg_dendrogram(dendrogram, names, rotate=True)
SVG(image)

在这里插入图片描述

# cut with 3 clusters
labels = cut_straight(dendrogram, n_clusters=3)
print(labels)
# [1 0 2 0 2 2 1 0 1 2 1 0 0 1]

image = svg_digraph(adjacency, position, names=names, labels=labels)
SVG(image)

# metrics
dasgupta_score(adjacency, dendrogram)
# 0.53

在这里插入图片描述

二部图
graph = movie_actor(metadata=True)
biadjacency = graph.biadjacency
names_row = graph.names_row
names_col = graph.names_col

# hierarchical clustering
louvain_hierarchy = LouvainHierarchy()
louvain_hierarchy.fit(biadjacency)
dendrogram_row = louvain_hierarchy.dendrogram_row_
dendrogram_col = louvain_hierarchy.dendrogram_col_
dendrogram_full = louvain_hierarchy.dendrogram_full_

image = svg_dendrogram(dendrogram_row, names_row, n_clusters=4, rotate=True)
SVG(image)

在这里插入图片描述

image = svg_dendrogram(dendrogram_col, names_col, n_clusters=4, rotate=True)
SVG(image)

在这里插入图片描述

# cuts
labels = cut_straight(dendrogram_full, n_clusters=4)
n_row = biadjacency.shape[0]
labels_row = labels[:n_row]
labels_col = labels[n_row:]

image = svg_bigraph(biadjacency, names_row, names_col, labels_row, labels_col)
SVG(image)

在这里插入图片描述

参考

uncle_ll
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
论文翻译解读：PARIS ：Probabilistic Alignment of Relations, Instances, and Schema
weixin_43923463的博客
07-17 933
语义Web面临的主要挑战之一是集成越来越多独立设计的本体。在这项工作中，我们提出了一种自动对齐本体的方法PARIS。PARIS不仅与实例联系在一起，还与关系和阶级联系在一起。实例级的对齐与模式级的对齐相互影响。因此，我们的系统为本体对齐问题提供了一个真正全面的解决方案。**该方法的核心是概率性的，即我们根据概率估计来衡量匹配程度。这允许PARIS不需要任何参数调优就可以运行。**通过大量实验验证了该算法的有效性和精确性。特别地，我们在一些世界上最大的本体的实验中获得了大约90%的精确度。**动机。**本体论
Scikit-network-02：载图
uncle_ll的博客
12-23 312
在Scikit网络中，图形由其scipy的压缩稀疏行格式中的邻接矩阵（或二部图矩阵）表示。在本教程中，我们提供了一些方法来实例化此格式的图。对于分类数据，可以使用Pandas在样本和特征之间获取两部分图。对于小图，可以将邻接矩阵作为密集的numpy阵列实例化，并将其转换为CSR格式的稀疏矩阵。NetworkX具有从企业社会责任格式和朝向CSR格式的导入和导出功能。默认情况下，该图是无方向性的，但是可以轻松地添加参数。可以加载以GraphMl格式存储的图。构建图形的另一种自然方法是来自边集列表。
Scikit-network-06：聚类
uncle_ll的博客
01-13 244
下面说明Louvain算法的图聚类。
hierarchy层次聚类绘图与展平（python）
fun_always的博客
04-23 3487
hierarchy是一种常用的聚类方法，可以自顶向下无限二分，从而得到不同层次的聚类结果。Python实现一般使用以下函数，其输出为一个n行4列的矩阵，表示层次聚类后的树状图。 tree = scipy.cluster.hierarchy.linkage(arr,'ward') 输出示例如下，前两列代表每一步合并的两个簇，第三列为簇间距离，第四列表示合并后新簇所包含的点数量。 >>> tree array([[ 0. , 1. , 1.
聚类算法5——Hierarchy 层次聚类(算法步骤及matlab代码)
GZ的博客
12-01 5398
看了西关书的聚类算法，算法原理很容易明白，接下来就是整理成自己的理解思路，然后一步一步来实现算法，那么就来做吧。 hierarchyClustering算法 思想 不同层次对数据集进行划分，AGENS是一种自底而上的聚合策略。首先将数据集中的每个样本看作初始聚类簇，算法运行中找出距离最近的两个聚类簇进行合并，该过程不断重复直到预设的聚类簇个数。 算法步骤 输入：样本集D（m,n）,聚类簇个数...
机器学习实战：Scikit-learn算法应用 描述： 这个资源专注于使用Scikit-learn库进行机器学习模型的训练和评
最新发布
03-19
linux常用命令大全 机器学习实战：Scikit-learn算法应用 描述： 这个资源专注于使用Scikit-learn库进行机器学习模型的训练和评估。它详细介绍了各种监督学习算法，包括分类、回归和聚类，以及如何调优模型参数，适用...
scikit-garden:scikit-学习兼容树的花园
05-05
锡基特花园 Scikit-Garden或skgarden（发音为skarden）是Scikit-Learn兼容决策树和森林的花园。MondrianTree不同深度的权重波士顿数据集上的有序预测间隔。安装Scikit-Garden依赖于NumPy，SciPy，Scikit-Learn和...
机器学习系列6 使用Scikit-learn构建回归模型：简单线性回归、多项式回归与多元线性回归
04-26
机器学习系列6 使用Scikit-learn构建回归模型：简单线性回归、多项式回归与多元线性回归
scikit-survival：基于scikit-learn的生存分析
02-04
scikit-survival：基于scikit-learn的生存分析
scikit-learn：scikit-learn：Python中的机器学习
02-06
scikit-learn：scikit-learn：Python中的机器学习
分层聚类(Hierarchical clustering)
lazysnake666的博客
09-14 7808
简介分层聚类算法试图建立一个聚类的层次结构，有两类：聚合型(agglomerative)和分裂型(divisive)。聚合法最初将每个数据点作为一个单独的聚类，然后迭代合并，直到最后的聚类中包含所有的数据点。它也被称为自下而上的方法。分裂聚类遵循自上而下的流程，从一个拥有所有数据点的单一聚类开始，迭代地将该聚类分割成更小的聚类，直到每个聚类包含一个数据点。下图展示的便是聚合法的示意图。流程聚合分层...
Scikit-network-01：安装与体验
uncle_ll的博客
09-01 489
scikit-network是用于大型图的Python包，与scikit-learn类似。当该图是双方时，它可以用双向邻接矩阵表示（每种算法都表示为具有拟合方法(可以看到，将其聚类为4类。
Scikit-network-03：基于简单模型加载图
uncle_ll的博客
12-26 101
基于简单模型加载一些图形。
记忆网络之Hierarchical Memory Networks（架构分层）
呜呜哈的博客
10-18 4060
记忆网络之Hierarchical Memory Networks（架构分层）这是中科院去年发表的一篇论文“Hierarchical Memory Networks for Answer Selection on Unknown Words”。其仿真代码作者已经开源，是用Lasagne实现的。虽然和上一篇一样都叫做“Hierarchical Memory Networks”，但是却千差万别。上一篇主
Mapreduce pairs算法 实现
笨字第1号
07-25 2689
今天实现了pairs算法，但是出于公司保密协议的规定，不能够随意把代码分享出来。 简单分享Map，Reduce,MaruPairs三个类，要实现MaruPairs，还需要重写自己的 Comparator类，做点优化。程序功能是判断风扇fan1开启下时，风扇fan2开启的比率。 前三个类代码粘帖如下： Map类： public static class MyMap exte
Paxos算法原理和过程解析
热门推荐
小诚信驿站
06-19 3万+
我们了解了2PC和3PC之后，我们可以发现，无论是二阶段提交还是三阶段提交都无法彻底解决分布式的一致性问题以及无法解决太过保守及容错性不好。Google Chubby的作者Mike Burrows说过，世上只有一种一致性算法，那就是Paxos，所有其他一致性算法都是Paxos算法的不完整版。Paxos算法是公认的晦涩，很难可能能将清楚，但是工程上也很难实现，所以有很多Paxos算法的工程实现，如...
GL_DITHER 抖动算法
GrimRaider的专栏
04-11 1万+
对于可用颜色较少的系统，可以以牺牲分辨率为代价，通过颜色值的抖动来增加可用颜色数量。抖动操作是和硬件相关的，OpenGL允许程序员所做的操作就只有打开或关闭抖动操作。实际上，若机器的分辨率已经相当高，激活抖动操作根本就没有任何意义。要激活或取消抖动，可以用glEnable(GL_DITHER)和glDisable(GL_DITHER)函数。默认情况下，抖动是激活的。 抖动算法 应朋
使用MapReduce实现pairs算法实现单词的共现矩阵
红豆和绿豆的博客
01-17 3266
词频共现矩阵的用途很广泛，个性化的推荐系统，基于物品的协同过滤等等。 什么叫做共现矩阵 例如： I am a good boy good boy     I  am  a  good boy I      1 am       1 a                  1 good                 2 boy              2 就是二个单词一起出现的次
【机器学习】层次聚类
jeffery0207的博客
11-18 2860
写在篇前   层次聚类（hierarchical clustering）是一种通用的聚类算法之一，它通过自下而上合并或自上而下拆分来构建嵌套聚类。这种簇的层次结构表示为树（或树状图），树的根汇聚所有样本，树的叶子是各个样本。本篇博客会简述层次聚类的原理，重点是使用sklearn、scipy、seaborn等实现层次聚类并可视化结果。 原理简述   看到一篇详细讲层次聚类原理的文章层次聚类算法的原理...
pip安装scikit-learn时报错error: metadata-generation-failed
03-05
当使用pip安装scikit-learn时，出现"error: metadata-generation-failed"错误通常是由于网络连接问题或者pip版本不兼容导致的。以下是一些可能的解决方法： 1. 确保你的网络连接正常，可以尝试重新运行pip命令。 2. 更新pip版本：使用以下命令来更新pip到最新版本： ``` pip install --upgrade pip ``` 3. 使用清华大学镜像源：可以尝试使用清华大学的镜像源来安装scikit-learn，使用以下命令： ``` pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scikit-learn ``` 4. 使用conda安装：如果你使用的是Anaconda环境，可以尝试使用conda来安装scikit-learn，使用以下命令： ``` conda install scikit-learn ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值