[学习日志] 白板推导-概率图模型

最新推荐文章于 2023-01-06 20:36:00 发布
最新推荐文章于 2023-01-06 20:36:00 发布
阅读量563 收藏 2
点赞数
文章标签： 概率论 图论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/115029938
版权
本文介绍了概率图模型的基础知识，包括随机变量、加法法则、乘法法则、链式法则和贝叶斯法则。探讨了高维困境下如何简化计算，如通过独立假设、马尔可夫链和条件独立性假设。进一步讲解了有向图的贝叶斯网络和无向图的马尔可夫网络，以及贝叶斯网络的因子分解和条件独立性。文章还涉及马尔可夫随机场、变量消除和置信度传播算法，最后讨论了推断方法，如Max Product算法，并介绍了道德图和因子图的概念。
摘要由CSDN通过智能技术生成

这里写目录标题

背景介绍

随机变量的基础知识

对于多元随机变量X1，X2
P(X1)叫做边缘概率
P(X1,X2)叫做联合概率
P(X1|X2)叫做条件概率

加法法则

在这里插入图片描述

乘法法则

在这里插入图片描述

(以上两个法则是最基础的，其他都来源于此)

链式法则

在这里插入图片描述

贝叶斯法则

在这里插入图片描述
圈红的部分是以前语言模型常用的公式
后面是更细致的展开成积分形式

高维困境

以上都是以二维为例子，在高维中计算就会变复杂
比如下图中的联合概率公式，在维度增加时，复杂度呈等差数列求和上升

在这里插入图片描述

几种简化方式

假设相互独立

在这里插入图片描述

朴素贝叶斯分类——基于独立假设

在这里插入图片描述

马尔可夫链

全都独立有点太过理想化，实际应用往往不满足
马尔可夫链的思路就是，某一事件的发生只和前n个事件相关联
（完全相互独立可以说是0阶马尔可夫）
在这里插入图片描述

公式是一阶马尔可夫，横竖符号表示独立
也就是说i+1和i之前的项都无关（可能就只和i有关）

HMM 隐马尔可夫模型
条件独立性假设

马尔科夫链也太过理想化，因为可能会有多依赖或跳跃依赖

因此引入条件独行性，公式如下
在这里插入图片描述
公式中XA，XB，XC都是随机变量的集合，且不相交
集合就能解决多依赖和跳跃依赖的问题

解释一下就是：
在Xc集合中的随机变量确定时，XA，XB集合中的随机变量相互独立

图

通过拓扑排序，就可以很简单的构造一个概率图

有向图-贝叶斯网络

无向图-马尔可夫网络/马尔可夫随机场

贝叶斯网络

因子分解

在这里插入图片描述

条件独立性

在这里插入图片描述
这里用图解释了所谓的条件独立性
也证明了有向图（贝叶斯网络）是包含了条件独立性信息的

上图这种模式的链接，称作tail to tail
可以总结：在尾巴指向的变量前提下，箭头指向的两个随机变量相互独立

在这里插入图片描述
这张图的模式的链接，称作head to tail
可以总结：在中间变量的前提下，两边的两个随机变量相互独立

在这里插入图片描述
这张图这种模式的链接，称作head to head
可以

最低0.47元/天 解锁文章
烫烫烫烫的若愚
关注
机器学习实战——朴素贝叶斯
starcosmos的博客
04-19 394
机器学习实战——朴素贝叶斯 思想如下： 有一个物体，具有属性1，2，那么它属于类别A的概率是多少呢？属于类别B的概率又是多少呢？如果属于A的概率大于输入B的概率，那么我们就认为这个物体很可能属于A。这就是朴素贝叶斯概率理论的思想。 思想很简单，目标就是求出一个未知物体的所有属性值对应的各分类的概率。用一个简单的例子表示这个方法： 假设有两个篮子A和B，其中一个篮子A有4000个红色的球和4000个...
[学习日志]白板推导-条件随机场 CRF Conditional Random Field
gjh1716718326的博客
03-22 423
背景介绍 软分类&硬分类 硬分类：给每一个待分类样本都明确的分配到一个类别，比如SVM就是画一条线泾渭分明。 软分类：给每一个待分类样本都计算其属于各个类别的概率，比如朴素贝叶斯就是计算一个条件概率 硬分类举例 SVM 支持向量机 PLA 感知机 LDA 线性判别分析 软分类举例 概率判别模型 比如逻辑回归分类，计算条件概率P(Y|X) 注：逻辑回归可以看作是最大熵模型的特例，至于最大熵模型是啥就以后再补吧 概率生成模型 比如朴素贝叶斯分类，计算联合概率P(X,Y)并通过贝叶斯公式求条件概率 注
机器学习-白板推导入门-概率图模型
CS_W98的博客
01-02 357
前言 博主刚开始入门机器学习时，总是没法把各个模型串在一起，这几个月断断续续看完B站的白板推导（1-23节）,然后觉得视频里模型关系的导图还挺清晰的，于是记录一下，给自己存个笔记。 目前主要以概率图模型为主，后期如果复习到，会不断补充前面的模型和问题。欢迎各位批评指正~ 模型关系机器学习到深度学习贝叶斯派-概率图模型分类问题聚类问题非线性问题采样问题-MCMC蒙特卡洛推断问题 机器学习到深度学习 ML-to-DL{频率派(统计学习){正则化{L1−LassoL2−Ridge=回归函数Lossfunction
机器学习-白板推导系列(九)-概率图模型之推断（Probability Graph）
Paul_Huang的专栏
02-09 898
9. 概率图模型之推断 9.7 推断Inference-总体介绍
概率图模型-表示|机器学习推导系列（十）
weixin_42431920的博客
08-12 414
一、概述 基本规则 概率图模型使用图的形式表示概率分布，首先总结一下几个随机变量分布的一些规则： Sum Rule:p(x1)=∫p(x1,x2)dx2p(x_{1})=\int p(x_{1},x_{2})\mathrm{d}x_{2}p(x1​)=∫p(x1​,x2​)dx2​ Product Rule:p(x1,x2)=p(x1∣x2)p(x2)p(x_{1},x_{2})=p(x_{1}|x_{2})p(x_{2})p(x1​,x2​)=p(x1​∣x2​)p(x2​) Chain Rule:
链式法则
qq_42501075的博客
05-19 2641
2个事件同时发生的概率： P(a, b) = P(a | b) * P(b) 其中：P(a, b)表示 a和b事件同时发生的概率， P(a | b)是一个条件概率，表示在b事件发生的条件下，a发生的概率 3个事件的概率链式调用： P(a, b, c) = P(a | b, c) * P(b, c) = P(a | b, c) * P(b | c) * P© 推广到N个事件，概率链式法则长这样： P...
word2vec模型原理及实现词向量训练案例
rothschild666的博客
03-25 5834
word2vec模型进行词向量训练方法 一、打开语料库官网 搜狗实验室的搜狗新闻语料库官方链接：点击打开官方链接 二、下载语料库数据，首先下拉找到迷你版(样例数据, 110KB)，然后点击第一个红色箭头指向的红色框内容（tar.gz格式），自己选择好保存文件的途径之后点击第二个红色箭头指向的红色框内容（保存）。注意：下载来的文件名是“news_sohusite_xml.smarty.tar.gz”。 三、首先按键盘“windows键+r”打开资源管理器 ，在打开栏输入“cmd”然后点击“确定”。然后通
数据挖掘与机器学习
Winyar的博客
07-21 4321
数据挖掘 数据挖掘：也就是data mining，是一个很宽泛的概念，也是一个新兴学科，旨在如何从海量数据中挖掘出有用的信息来。 数据挖掘这个工作BI（商业智能）可以做，统计分析可以做，大数据技术可以做，市场运营也可以做，或者用excel分析数据，发现了一些有用的信息，然后这些信息可以指导你的business，这也属于数据挖掘。 机器学习 机器学习：machine learning，是计算机科学...
软件测试理论与经验--阅读笔记
方子的博客
06-23 8828
第1章 测试员的角色测试人员的角色到底是什么？能够定义的很清楚吗？经验1-测试员是项目的前灯测试就是要找到信息，有关项目或者产品的关键信息决策都需要根据这些信息来决定。经验2-测试员的使命决定要做的一切使命可能决定于行业、公司、项目或者团队的个性，测试项目也是千差万别。我们的使命是以客户为中心，明确需求，提高工作效率及降低风险。要经常动态调整自己的使命，不要侧重某一方面而疏忽另一方面。经验3-测试...
Hammersley-Clifford定理证明
热门推荐
default
08-15 1万+
Proof of Hammersley-Clifford Theorem Proof of Hammersley-Clifford Theorem 依赖知识 定义1 定义2 证明过程 反向证明(吉布斯分布=>MRF) 正向证明(MRF=>吉布斯分布) 证明第一点 证明第二点 疑问点 ​ 最近看语义分割论文DeepLab，有使用全连接CRF恢...
贝叶斯分类算法 -- 概率推导
ouprince
09-13 2048
贝叶斯分类算法是基于一种古典概率统计学的一种非常简单的分类方法。废话不多说，尽快进入推导过程，因为很简单。假设 x1,x2... x3 是判断因素，y 是类别结果。那么我们做如下假设： 1. x1,x2 ... x3 是离散事件，即可以统计出 p(x1),p(x2).... p(x3) ，否则贝叶斯算法失效。 2.x1,x2, ... x3 互相独立，即 p(x1|x2) = p(x1) ...
PRML读书会第五期——概率图模型(Graphical Models)【下】
最新发布
qq_37638320的博客
01-06 223
详尽的介绍机器学习中的概率图模型，深入浅出贝叶斯网络，马尔可夫随机场，Sum-Product算法等诸多内容。此篇为全文的第三部分，为原文附录
19-概率图模型
scar2016的博客
06-07 640
文章目录1.概率图模型框架 1.概率图模型框架
概率图模型之马尔可夫随机场
weixin_43797015的博客
12-04 3842
介绍了马尔可夫随机场以及势函数，推导了全局马尔科夫性、局部马尔可夫性和成对马尔可夫性。
【周志华机器学习】十四、概率图模型
weixin_42301220的博客
04-10 2224
文章目录参考资料1. 基本概念2. 隐马尔可夫模型（HMM）2.1 隐马尔可夫三大问题1. 第一个问题解法2. 第二个问题解法3. 第三个问题解法3. 马尔可夫随机场（MRF）3.1 MRF性质3.2 势函数4. 条件随机场（CRF）5. 学习与推断5.1 变量消去5.2 信念传播6. LDA话题模型7. 后记7.1 EM算法、HMM、CRF的比较 参考资料 Machine-learning-learning-notes LeeML-Notes ML-NLP 本博客根据周志华的西瓜书和参考资料1、
白板推导系列 - 概率图模型
xiaomlu的博客
11-27 2302
概率图模型 P1 背景介绍 可以从两个角度来看概率图模型，即一个是概率，一个是图。 要预测其实概率就足够了，这个图，其实是一个工具。我们在数据结构中也有图，但都是比较抽象的；这里的图，其实是把原来数据结构中的图，赋予了概率，把概率嵌进去，使得整个模型更加清晰，也可以进一步构建更高级的模型。 我们先来看看概率这一块。 概率在建模过程中，其实是对现实问题的一个抽象。我们关注的问题，我们的数据往往是多...
读懂概率图：你需要从基本概念和参数估计开始
机器之心
11-30 1685
概率图模型是人工智能领域内一大主要研究方向。近日，Statsbot 团队邀请数据科学家 Prasoon Goyal 在其博客上分两部分发表了一篇有关概率图模型的基础性介绍文章。文章从基础的概念开始谈起，并加入了基础的应用示例来帮助初学者理解概率图模型的实用价值。机器之心对该文章进行了编译介绍。 第一部分：基本术语和问题设定
概率图模型
weixin_30871293的博客
03-09 871
过去的一段时间里，忙于考试、忙于完成实验室要求的任务、更忙于过年，很长时间没有以一种良好的心态来回忆、总结自己所学的东西了。这几天总在想，我应该怎么做。后来我才明白，应该想想我现在该做什么，所以我开始写这篇博客了。这将是对概率图模型的一个很基础的总结，主要参考了《PATTERN RECOGNITION and MACHINE LEARNING》。看这部分内容主要是因为LDPC码中涉及...
小白学习：李航《统计学习方法》第二版第11章 条件随机场
weixin_44193282的博客
09-03 1468
小白学习：李航《统计学习方法》第二版第11章 条件随机场 小白学习：李航《统计学习方法》第二版第11章 条件随机场 马尔科夫随机场（Markov random filed) 图的概念 图(graph)是由结点（node）和连接节点的边（edge）组成的集合。结点和边分别记作v和e，节点和边的集合记作V和E，图记作G=（V,E）。 2.概率图模型（probabilistic graphical model）的概念 概率图模型是一个由无向图表示的联合概率分布。设有一组联合概率分布P（Y) Y∈y。无向图G=
概率图模型详解：从贝叶斯网络到马尔科夫模型
"这篇内容主要涉及概率图模型，特别是白板推导的第九部分，讨论了概率图模型中的几个关键概念，包括全局、局部和成对的马尔科夫性。此外，还提到了贝叶斯网络、高斯贝叶斯网络、马尔科夫随机场和马尔科夫网络等不同...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值