（贝叶斯网络 精确推理 VE的 调节 存在问题）斯坦福 CS228 概率图模型中文讲义 六、变量消除（VE算法）BP 算法

https://juejin.im/entry/5a9fef93f265da237e0945bd

 

BP 算法 https://blog.csdn.net/qq_23947237/article/details/78385110

可见，求边缘分布的方法是消除其余的变量，如何消除呢？如上例子，求 XX 的边缘分布就要对联合分布在 YY上 加和（离散）或者积分（连续）

3. 从概率论到概率图模型

• 节点：表示随机变量
• 连接两个节点的箭头：代表这两个随机变量是具有因果关系（或非条件独立）。

若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。

下图中 E 是因（父节点），H 是果（子节点）

典型的概率图模型包括贝叶斯网络和马尔科夫随机场（MRF）。 
贝叶斯网络是有向图模型，用于表示随机变量之间的因果关系；

而马尔科夫随机场是无向图模型，用于表示随机变量的概率分布推理或者说是随机变量之间的软约束关系；

最后可以由前两种网络构造新的结构叫做因子图（factor graph）。

 

 

2 贝叶斯网络https://blog.csdn.net/qq_23947237/article/details/78387894

贝叶斯网络(Bayesian Network)，又称信念网络(Belief Network)，或称有向无环图模型(directed acyclic graphical model，DAG)。它和MRF是深度学习中 RBM、DBM 的基础。

2 马尔可夫随机场（MRF）

https://blog.csdn.net/qq_23947237/article/details/78387894

• 这个是无向图概率模型。它不仅和BP算法有关，而且这个概率无向图模型对RBM学习帮助比较大，他涉及能量函数来源。
• 无向图也是一种分解方式。
• 有向图（Bayesian Nestworks）将一组变量上的联合分布分解为多个局部条件概率分布的乘积；同时定义了一组条件独立性质，根据图进行分解的任何概率分布都必须满足这些独立性质（三种拓扑结构）

  ---

  2.1 概念

概率无向图模型（undirect graphical model），又叫做马尔科夫随机场（Markov Random Filed，MRF），或称马尔科夫网络（Markov Network，MN）。

怎么理解呢？前面的有向图代表的是变量之间的关系很明确，比如A,B接力赛，A跑的时间绝对是决定了B的时间，这样A和B之间就有了明确的条件概率关系，而且关系方向很确定。

无向图描述的也是变量之间的关系，但这种关系很模糊，没有方向。我买可以这么理解：A、B两个人是同学，A感冒传染给B也可以，B传染给A也可以，箭头方向是不是就可以取消了
 

---

2.2 结构、条件独立

• 包含⼀组结点。
• 每个结点都对应着⼀个变量。
• 链接是⽆向的，即不含有箭头。

在无向图的情形中，讨论条件独立性质是比较方便的。

2.3 马尔科夫随机场（Markov Random Field）

马尔可夫随机场，包含两个意思，一 什么是马尔可夫，二 什么是随机场。

• 马尔可夫性质的简称。它指的是一个随机变量序列按时间先后关系依次排开的时候，**第 t+1 时刻的分布特性，与 t 时刻以前的随机变量的取值无关。**比如我们假定天气是马尔可夫的，意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联，而与前天及前天以前的天气没有关系。
• 随机场： 包含两个要素，位置（site），相空间（phase space）。当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。我们不妨拿种地来打个比方：“位置”好比是一亩亩农田；“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼，这就好比给随机场的每个“位置”，赋予相空间里不同的值。所以通俗说，随机场就是在哪块地里种什么庄稼的事情。

好了，明白了上面两点，就可以讲马尔可夫随机场了。还是拿种地打比方：如果任何一块地里种的庄稼的种类，仅仅与它邻近的地里种的庄稼的种类有关，与其它地方的庄稼的种类无关，那么这些地里种的庄稼的集合，就是一个马尔可夫随机场。

 

3 因子图

3.1 概念

有向图和无向图都可以使得，若干个变量的⼀个联合概率函数（或全局函数）能够表示成，这些变量的⼦集上的因⼦的乘积。

因⼦图比有向图和无向图更显式地表示了这个分解，⽅法是：在表示变量的结点的基础上，又引⼊额外结点来表示因⼦本⾝。因⼦图也使我们能够更加清晰地了解分解的细节。

有向图

无向图：

因子图

---

3.2 结构

1）常见的电路图、信号流程图、格子图以及各种框图都属于图模型的范畴；
2）因子图（factor graph，FG）是图模型的一种；
3）因子图的典型代表是Forney-style factor graph，简称 FFG。
4）编码领域、信号处理、人工智能方面的大量算法应用。

一般 FFG 由 结点，边缘，半边缘（只与一个结点连接）组成；
FFG的定义规则如下：
a) 每个因子对应唯一的结点集合；
b) 每个变量对应唯一的边缘或者半边缘；
c) 代表因子 f ff 的结点与代表变量 x的边缘（或半边缘）相连，当且仅当 f  是关于 x 的函数。

转化为如下图所示：

---

4. BP （和-积）算法

• 我们以下面的因子图为例开始说这个算法。

假设联合概率函数 f ff 可用如上图所示的 FFG 表示，即

考虑边缘函数，即

---

2.1 计算思想

---

4.2 边缘概率计算的另一种表示

4.3 信息是怎么传播的

传递规则：

• 变量到因子：1
• 因子到变量：f
• 

接下来我们用一个例子，看传播流程

我们到第三个步骤就可以计算出 ,但是现在的问题是我们要计算任意一个边缘函数 ,那仅仅凭第三步的所有传递的局部消息是不够的。所以，我们要传递给每个节点所有的邻居消息。和积算法（BP）从本质上就是一种消息传递算法（MPA），他可以从全局函数计算出各个不同的边缘函数。

---

4.4 通俗的讲BP（belief propagation）算法的思想

情境一

情景二

---

4.5 算法步骤总结

根据信息更新规则分类，置信传播算法分为：Max-product 和 Sum-product。
这里不再对 max-product 进行研究，但只要弄懂了 sum-product，也就弄懂了 max-product 算法。因为 max-product 算法就在上面 sum-product 算法的基础上把求和符号换成求最大值max的符号即可！

对于，SUM—product，算法流程如下：

现在假设我们想寻找图中每个变量结点的边缘概率分布。这可以通过简单地对每个结点独立地运⾏上述算法的方式完成。但是，这会相当浪费计算结果，因为许多需要进行的计算被重复了多次。

通过“叠加”多个信息传递算法，我们可以得到⼀个更加高效的步骤，从而得到⼀般的加和-乘积算法，如下所述。

• 任意选择⼀个结点（变量结点或因⼦结点），然后将其指定为根结点。
• 像之前⼀样，我们从叶结点向根结点传递信息，叶节点初始化按照【4.3 信息是怎么传播的的传递规则】。现在，根结点会接收到来⾃所有相邻结点的信息。因此，它可以向所有的相邻结点发送信息。
• 反过来，这些结点之后会接收到来⾃所有相邻结点的信息，因此可以沿着远离根结点的链接发送出信息，以此类推。通过这种方式，信息可以从根结点向外传递到叶结点。现在，信息已经在两个方向上沿着图中所有的链接传递完毕，并且每个结点都已经接收到了来⾃所有相邻结点的信息。
• 因为每个变量结点会收到来⾃所有相邻结点的信息，所以我们可以计算图中每个变量的边缘概率分布。