概率图学习——Inference as Optimization: Cluster Graph & Belief Propagation 聚类图，置信传播

最新推荐文章于 2023-11-20 00:19:06 发布
最新推荐文章于 2023-11-20 00:19:06 发布
阅读量955 收藏
点赞数
分类专栏： 学习 文章标签： 概率图模型 推理 聚类图 置信传播 消元法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20607189/article/details/85249284
版权

目录

Variable Elimination(VE) 消元法

在这里插入图片描述
线性链上的消元：
在这里插入图片描述
按照 A、B、C、D 的顺序依次消去

VE in complex graphs

induced graph in VE
step 1: Moralizing for BN （即在 v-structure 的两个父亲节点连边）
在这里插入图片描述在这里插入图片描述
step 2: Triangulation （即在消元过程中做三角化操作）
在这里插入图片描述在这里插入图片描述
最后出来会是 chordal，即是一个弦图，图中只有三角，没有四边形
如果每次 inference 的时候都要遍历整个图，那就太蠢了，这里可以采用动态规划的算法，消元时候的中间结果是可以拿来重用的。
提前计算好定义在每个 clique 上的 marginal distribution，在做 inference 时候也能快很多。

Exact Inference: Clique Tree

Cluster graph and clique tree

clique tree 是定义在弦图上的，根据 clique 生成的树状结构。
clique tree 有两个非常重要的性质：

  1. tree and family preserving: 原来的 induced graph 转化为 clique tree 后具有树状结构，而且和原来的结构是可以相互转换的。clique tree 的每一个节点是代表一个 clique，边上是两个 clique 间重叠的部分。
  2. running intersection property：是指变量 X 存在一条连续的树的子路径上。如 G 出现在了 Clique2和 clique4中，那么中间的 clique3和 clique5
    在这里插入图片描述在这里插入图片描述
    每个 clique 都是有他们对应的 local CPD
    在这里插入图片描述
Message passing: Sum Product

顺序1：
在这里插入图片描述
顺序2：
在这里插入图片描述

Clique Tree Calibration

calibration（校准）：使得两个相邻 clique 之间传送的消息相等。

Message passing: Belief Update
Constructing clique tree
strongman1995
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Cluster-GCN：子图划分，特别适合大规模的同质图数据
褚骏逸的学习之路
08-04 5438
1. Cluster-GCN 聚类GCN：一种对大而深的图卷积网络训练的高效算法 发表时间： 2019年8月4日发表在KDD 2019上。 1.1.参考资料 论文链接：Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks GitHub链接：ClusterGCN: A PyTorch implementation DGL链接：DGLexamples 1.2.GCN面临的挑战：大规
机器学习&数据挖掘笔记_20（PGM练习四：图模型的精确推理）
weixin_34414650的博客
01-04 591
  　　前言： 　　这次实验完成的是图模型的精确推理。exact inference分为2种，求边缘概率和求MAP，分别对应sum-product和max-sum算法。这次实验涉及到的知识点很多，不仅需要熟悉图模型的representation，而且还需明白图模型的inference理论，大家可参考coursera课程：Probabilistic Graphical Models 的课件和...
图聚类算法（Graph clustering）
ylzf2008的博客
11-20 304
无需指定簇大小：Reinforcement Graph Clustering with。
贝叶斯网专题6：团树传播
吴智深的博客
08-24 2107
文章目录第一部分：贝叶斯网基础[1.1 信息论基础](https://blog.csdn.net/deepbodhi/article/details/119823055)[1.2 贝叶斯网基本概念](https://blog.csdn.net/deepbodhi/article/details/119823243)[1.3 变量独立性的图论分析](https://blog.csdn.net/deepbodhi/article/details/119823321)第二部分：贝叶斯网推理[2.1 概率推理中的变
机器学习 —— 概率图模型（推理：团树算法）
weixin_34192993的博客
01-22 523
　　在之前的消息传递算法中，谈到了聚类图模型的一些性质。其中就有消息不能形成闭环，否则会导致“假消息传到最后我自己都信了”。为了解决这种问题，引入了一种称为团树（clique tree)的数据结构，树模型没有图模型中的环，所以此模型要比图模型更健壮，更容易收敛。 1.团树模型 　　链模型是一种最简单的树模型，其结构如下图所示，假设信息从最左端传入则有以下式子。 　　假设要对变量 CD 进...
快速上手：图聚类入门 Graph Clustering
热门推荐
YoHu人家的博客
07-15 3万+
硕士研究工作基本告一段落了，静候佳音中～最近实习期做的东西还挺有意思，再加上一些别的原因，大概率不会读博了（碎碎念） 其实一直想总结一下近几年的图节点聚类的一些工作，算是一个逗号吧。 个人总结，若有错误欢迎指正。 本文从问题定义入手，再到近几年的工作，最后进行横向对比，并提供一些个人向的future work（俗称画饼），以供参考。 文章目录先验知识聚类图图神经网络图节点聚类 先验知识 这部分介绍一下聚类、图、图神经网络。都掌握的不错的同学可以直接跳过。 聚类 聚类就是在未知标签的前提下，将样本集合分为多个
东南大学 崇志宏：概率图学习算法参考书
08-03
是一本很好的讨论图概率学习算法参考书。
深度学习 Unet 实战分割项目：卫星图像道路分割图像分割数据集（二值图像分割任务）
最新发布
03-06
【介绍】学习率采用cos衰减，训练集和测试集的损失和iou曲线可以在run_results文件内查看，图像由matplotlib库绘制。除此外，还保存了训练日志，最好权重等，在训练日志可以看到每个类别的iou、recall、precision...
chap-概率图模型.pptx
03-30
学习是指从训练样本中学习概率图模型的参数。概率图模型可以用来进行学习，例如参数学习和结构学习。 6. 贝叶斯网络（Bayesian Network） 贝叶斯网络是一种有向图模型，每个节点都对应一个随机变量，箭头表示条件...
Simple-Inference-Server:从头开始实现机器学习模型的推理服务器
05-31
用于机器学习模型推理的简单多线程 TCP/IP 服务器的实现。 具体来说，以问答（QA）服务为例。 服务器设计为具有线程安全队列，其中所有推理请求都被保留，多个推理引擎工作线程将获得推理请求并并发处理。 用法 构建...
基于python inference 、ResNet实现的图像分类
01-27
Python inference 是指使用预先训练好的模型进行预测的过程，而ResNet（深度残差网络）是一种先进的卷积神经网络（CNN）架构，解决了深度学习中的梯度消失问题，从而能够构建更深的网络模型，提高图像分类的准确性。...
置信传播bp算法学习
04-27
供研究学习置信传播算法的学者学习，matlab代码，内含一些例子包括贝叶斯网络、马尔科夫模型、因子图算法等
Graph特征提取方法:谱聚类(Spectral Clustering)详解
祥瑞的技术博客
04-30 1万+
背景：Graph的特征提取方法有很多种，有空域的方法vertex domain，谱方法spectral domain，最经典的就是图卷积GCN（Graph Convolutional Network）GCN (Graph Convolutional Network) 图卷积网络解析 。这里是另一种方法，谱聚类的方法( spectral clustering)。 相关论文详解： GCN (Gra...
图模型初学笔记（Markov Network)
zhangjiethu的专栏
04-15 1006
（不保证正确性，只是笔记） 1. Markov Network 的点、边的意义              点： 随机变量              边： 相邻点的直接概率作用，可能没有很直观的现实意义 2. （1）图的概率表示               Gibbs 分布               两者形式相同—> （2）      （2）Markov network 的参
Deep learning in graph clustering 论文两篇
DawnRanger的专栏
08-16 4595
1. Learning Deep Representations for Graph Clustering论文信息：Tian, Fei, et al. “Learning Deep Representations for Graph Clustering.” AAAI. 2014.来自微软亚洲研究院，这是最早将深度学习应用于图聚类问题(graph clustering)的文章。论文的思路非常简单，首
[论文笔记]Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks
知行合一，止于至善
08-24 1万+
文章目录Abstract1. IntroductionPrevious GCN Training Algorithms2. Background图卷积网络（GCNs）3. Proposed AlgorithmWhy does vanilla mini-batch SGD have slow per-epoch time?Embedding utilization can reflect compu...
概率图模型笔记(9-10)——Inference-Belief Propagation
02-25 2101
9 Inference-Belief Propagation part19.1 Belief Propagation9.1.1 聚类图(Cluster Graphs) 　　聚类图即这样的一个无向图：节点是团Ci⊆X1,…,XnC_i⊆{X_1,…,X_n}，其中XiX_i是第ii个变量；节点CiC_i和CjC_j之间的边代表子集S(i,j)⊆Ci∩CjS_{(i,j)}⊆C_i∩C_j范围内两节点
置信传播（Belief Propagation）与链式有向图模型前向后向算法——CVMLI Prince读书随笔第11章
小树屋
02-19 963
目录前向后向算法置信传播链式有向图前向过程反向过程计算边缘树模型无向图 这本书把置信传播算法讲的非常清楚。所以这里mark一下。以下阅读请先知道链式有向图前后向算法的原理。 前向后向算法 记链式有向图隐变量为w1....Nw_{1.... N}w1....N​，已知的观测值为x1...Nx_{1...N}x1...N​. 其中，前向函数fn(wn)=P(x1...n,wn)f_n(w_n)=P(x...
Probabilistic Machine Learning-An Introduction
07-06
"Probabilistic Machine Learning-An Introduction" 深度学习资料 机器学习 这篇资源摘要提及的书籍《Probabilistic Machine Learning: An Introduction》是关于概率机器学习的一本入门读物，作者未在摘要中明确给...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值