深蓝学院-概率图模型-第二章

概率论与图论基础知识

条件概率

P(A|B)=P(AB)/P(B)
乘法公式

• 若P(B)>0,则P(AB) = P(B)P(A|B)
• 若P(A)>0,则P(AB) = P(A)P(B|A)

全概率公式

• $$P(A)=\sum _{i=1}^{n}P(A{B}_i)$$

直接计算P(A)比较困难，则根据B样本空间对事件A进行分割求解
贝叶斯公式
定义：若事件$B_1,B_2......B_n$是样本空间$\alpha$的一组分割，且P(A)>0,P($B_i$)>0,则
$$P(B_i|A)=\frac{P(A{B}_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{P(A)}=\frac{P(B_i)P(A|B_i))}{{\sum }_{j=1}^{n}P(B_j)P(A|B_j)}$$
$P(B_i)$是先验概率 $P(B_i|A)$是后验概率

独立性

定义 若事件A与B满足：$P(AB)=P(A)P(B)$,则称A与B相互独立

• $P(A|B)=P(A)$
• $P(AB)/P(B)=P(A)$
• $P(AB)=P(A)P(B)$

条件独立性

定义 ：在给定C的条件下，若事件A与B满足$P(AB|C)=P(A|C)P(B|C)$,则称A与B在给定C的条件下相互独立

概率图模型常用概念

• 联合概率分布：$P(X)=P(X_1,X_2,....X_N)$
• 边缘概率：$P(X_{\alpha })={\sum }_{X/X_{\alpha }}^{}P(X)$
• 最大后验概率：（MAP）$X^{\ast }=argmax$
  eg:

图论基础

• 图定义：由节点组成的抽象网络，网络中的各节点通过边实现彼此的链接
• 节点：表示事物、对象或者随机变量
• 边：表示随机变量之间的关系
• 有向图与无向图：边是否有方向
• 树状图：不包含圈的图称为无圈图（acycclic graph），连同的无圈图称为树

贝叶斯网络

 利用图的结构降低模型的复杂度

定义

 令G为定义在{$X_1，X_2,.....X_N$}上的一个贝叶斯网络，其联合概率分布可以表示为各个节点的条件概率分布的乘积：
$$p(X)=\prod _i{p}_i\left(X_i\mid {\mathrm{Par}}_G\left(X_i\right)\right)$$
其中${\mathrm{Par}}_G\left(X_i\right)$表示在图G上，节点$X_i$的父节点，$p_i\left(X_i\mid {\mathrm{Par}}_G\left(X_i\right)\right)$为节点$X_i$的条件概率表
eg:

联合概率分布：
$$P(D,I,S,G,L)=P(D)P(I)P(G|D,I)P(S|I)P(L|G)$$

变量独立性

 随机变量X,Y相互独立，满足以下三个条件，反之，如果满足以下三个条件的任意一个，则相互独立
$$\begin{gathered} P(X,Y)=P(X)P(Y) \\ P(X|Y)=P(X) \\ P(Y|X)=P(Y) \end{gathered}$$
 随机变量X,Y,Z在给定的Z的条件下独立，满足以下三个条件，反之，如果满足以下三个条件的任意一个，则相互独立
$$\begin{gathered} P(X,Y|Z)=P(X|Z)P(Y|Z) \\ P(X|Y,Z)=P(X,Z) \\ P(Y|X,Z)=P(Y,Z) \end{gathered}$$

概率影响流动性

• 在一定的观测条件下，变量间的取值概率是否会相互影响
• 观测变量：变量取值可观测，或变量取值已经确定
• 隐变量：变量取值未知，通常根据观测变量取值，进行推理
  定义:(有效迹)对于贝叶斯网络中的一条迹（路径）$X_1\rightleftharpoons ...X_n$和观测变量的子集$Z$,当$X_1和X_n$的取值能够相互影响时，称路径是有效的,反之，若二者不能相互影响，则称$X_1和X_n$条件独立
  
  定义(d-分离)：若图G在给定Z条件，节点X和Y之间不存在任何有效迹，则称X和Y在给定Z时是d-分离的，记为 $d-se{p}_G(X,Y|Z)$

贝叶斯网络中的独立性

eg:对于节点S,其父节点是I，则S与D、G、L都条件独立

条件独立：意味着两个变量之间没有任何关联，事件A发生的概率与B发不发生没有任何关系
上图中，$P(L|G)$表示在给定G的情况下，L和I，D无关；$P(S|I)$表示在给定I的情况下，S与D、G、L条件独立

贝叶斯网络推断

因果推断：顺着箭头推断
证据推断：逆向箭头推断
交叉因果推断：双向箭头推断

马尔可夫随机场

• 马尔可夫随机场（Markov Random Field,MRF）是无向概率图模型,其概率分布可以表示为：
  $$P(x_1,.....x_n)=\frac{1}{Z_{\Phi }}\prod _{i=1}{\varphi }_i(D_i)$$
  上式中,$Z_{\varphi }$为联合概率分布的归一化因子，称为配分函数，$D_i$是随机变量的集合，${\varphi }_i(D_i)$是随机变量到实数域的一个映射，称为势函数或者因子
  

• 上式中$Z_{\Phi }$就等于中间列因子乘积的累加和

• $D_i$表示四个因子，每个因子有两个变量，分别是A,B、B,C、C,D、D,A

• ${\varphi }_i(D_i)$表示的是第i个因子对应的参数矩阵，局部势函数

局部势函数和边缘概率的关系

 局部势函数和边缘概率没有直接的联系，他们是部分和整体的关系，联合概率和边缘概率需要考虑所有变量之间的依赖关系，而局部势函数只考虑因子所包含的变量

节点势函数可以根据问题建模的需要，决定是否引入，具有灵活性

应用举例

 在计算机视觉和图像处理领域，成对马尔可夫随机场（Pairwise MRF）被广泛应用
$$成对MRF的联合概率：\frac{1}{Z_{\Phi }}\prod _{p\in V}{\varphi }_p(x_p)\prod _{(p,q)\in E}{\varphi }_{pq}(x_p,x_q)$$
上式表示节点势函数的连乘积 x 边上的势函数的连乘积
第一个V表示马尔可夫随机场节点的集合
第二个E表示马尔可夫随机场所有边的集合

利用成对MRF对图像处理问题建模

图像处理问题转为定义在MRF上的最大概率后验问题
$$\underset{x}{\max }p(x)\propto \prod _{p\in V}{\varphi }_p(x_p)\prod _{(p,q)\in E}{\varphi }_{pq}(x_p,x_q)$$

当令${\theta }_p(x_p)=-log{\varphi }_p(x_p),{\theta }_{pq}(x_p,x_q)=-log{\varphi }_{pq}(x_p,x_q)$
最大后验概率推理问题就能转换成能量最小化问题：
$$\underset{x}{\min }E(x)=\sum _{p\in V}{\theta }_p(x_p)+\sum _{(p,q)\in E}{\theta }_{pq}(x_p,x_q)$$

能量函数参数化

因子图

贝叶斯网络和MRF都可以用因子图来表示
定义：因子图是一类无向概率图模型，包括变量节点和因子节点。变量节点和因子节点之间有无向边相连。与某个因子节点相连接的变量节点，为该因子的变量。定义在因子图上的联合概率分布可以表示为各个因子的联乘积