概率图模型理论基础

1  概率图模型基础

概率图模型为概率+图论的知识，其中概率方面是高维随机变量，图只是用来进行概率计算的工具。其最基本的理论基础为

• 如何计算高维随机变量的边缘概率和条件概率
• 加法法则： 利用联合概率求边缘概率

• 乘法法则： 利用条件概率计算联合概率

加法法则和生成法则是概率图模型计算的最基础的法则，其他所有都由它们两个而来

• 链式法则：

• 贝叶斯法则 

       有了这几个法则之后，我们发现高维随机变量的边缘概率和条件概率是可以计算的了，但是一旦图过大，联合概率计算量就会达到指数级别，因为依赖链过长。为了解决这一问题，通常需要做一些假设，比如朴素贝叶斯认为每一个维度随机变量相互独立

那么计算联合概率就简单了很多，但这个假设还是太强了。还可以做一个弱一些的假设。比如马尔科夫假设（在给定当前状态情况下，未来和过来是相互独立的）如下图

总之，做假设的目的是为了让依赖链短一些，方便计算联合概率。但还是有点强，并且依赖很单调。还可以做一个更强一点的，比如条件独立性假设，如下图

XA和XB和XC是集合，且不相交。那么到这里，图的作用就出来了，图可以很方面就看出随机变量之间满足条件独立性，可以对集合之间的条件独立性在图上做一个映射。

那么基础知识就到了这里，那么概率图有那些以及有什么用呢？

 

概率图模型包含了表示，推断，学习，决策等等，它处理所有问题的方式都是建模，推理，学习。算是一个理论性好解释的工具。

2  思考

关于这一章节的思考

• 问题： 对高维随机变量的边缘概率和联合概率计算？维度一高，计算量指数级上升。  

为什么要解决这个问题？这个问题很重要？ 为什么会出现计算联合概率计算量大？

• 解决： 做一定强度假设，从朴素贝叶斯到马尔可夫假设再到条件独立性假设，做到这一程度假设条件独立性假设可以把高维随机变量映射到图中。每个节点就是一个随机变量。

        有其他方法来降低计算量吗？  还有没有其他类型更强或者更弱的假设？有了那种假设，是不是计算量又会小一些。假设的目的是为了计算联合概率方便，减少依赖链。那我提出一个比条件独立性假设更弱的，比如说该随机变量附近2阶领域节点的假设。这样依赖链会成一些，但是会更精确？ 

• 发展： 针对所要解决问题建模成图的不同，发展成为了概率图模型这一个重要分支。

 

 

3  附录

https://www.bilibili.com/video/av33545406/