概率图基础知识
概率论与图论基础知识
条件概率
P(A|B)=P(AB)/P(B)
乘法公式
- 若P(B)>0,则P(AB) = P(B)P(A|B)
- 若P(A)>0,则P(AB) = P(A)P(B|A)
全概率公式
- P ( A ) = ∑ i = 1 n P ( A B i ) P(A) = \sum_{i=1}^{n}P(AB_i) P(A)=i=1∑nP(ABi)
直接计算P(A)比较困难,则根据B样本空间对事件A进行分割求解
贝叶斯公式
定义:若事件
B
1
,
B
2
.
.
.
.
.
.
B
n
B_1,B_2......B_n
B1,B2......Bn是样本空间
α
\alpha
α的一组分割,且P(A)>0,P(
B
i
B_i
Bi)>0,则
P
(
B
i
∣
A
)
=
P
(
A
B
i
)
P
(
A
)
=
P
(
B
i
)
P
(
A
∣
B
i
)
P
(
A
)
=
P
(
B
i
)
P
(
A
∣
B
i
)
)
∑
j
=
1
n
P
(
B
j
)
P
(
A
∣
B
j
)
P(B_i|A)=\frac{P(AB_i)}{P(A)}=\frac{P(B_i)P(A|B_i)}{P(A)}=\frac{P(B_i)P(A|B_i))}{\sum_{j=1}^{n}P(B_j)P(A|B_j)}
P(Bi∣A)=P(A)P(ABi)=P(A)P(Bi)P(A∣Bi)=∑j=1nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi))
P
(
B
i
)
P(B_i)
P(Bi)是先验概率
P
(
B
i
∣
A
)
P(B_i|A)
P(Bi∣A)是后验概率
独立性
定义 若事件A与B满足: P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B),则称A与B相互独立
- P ( A ∣ B ) = P ( A ) P(A|B)=P(A) P(A∣B)=P(A)
- P ( A B ) / P ( B ) = P ( A ) P(AB)/P(B)=P(A) P(AB)/P(B)=P(A)
- P ( A B ) = P ( A ) P ( B ) P(AB)=P(A)P(B) P(AB)=P(A)P(B)
条件独立性
定义 :在给定C的条件下,若事件A与B满足
P
(
A
B
∣
C
)
=
P
(
A
∣
C
)
P
(
B
∣
C
)
P(AB|C)=P(A|C)P(B|C)
P(AB∣C)=P(A∣C)P(B∣C),则称A与B在给定C的条件下相互独立
概率图模型常用概念
- 联合概率分布: P ( X ) = P ( X 1 , X 2 , . . . . X N ) P(X) = P(X_1,X_2,....X_N) P(X)=P(X1,X2,....XN)
- 边缘概率: P ( X α ) = ∑ X / X α P ( X ) P(X_\alpha ) = \sum_{X/ X_\alpha}^{}P(X) P(Xα)=∑X/XαP(X)
- 最大后验概率:(MAP)
X
∗
=
a
r
g
m
a
x
X^* = argmax
X∗=argmax
eg:
![](https://i-blog.csdnimg.cn/blog_migrate/b3cf46963808ca17666ba2a1a73f1c3a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/355cf9138b8c0e9ab547c71c028fd825.png)
图论基础
- 图定义:由节点组成的抽象网络,网络中的各节点通过边实现彼此的链接
- 节点:表示事物、对象或者随机变量
- 边:表示随机变量之间的关系
- 有向图与无向图:边是否有方向
- 树状图:不包含圈的图称为无圈图(acycclic graph),连同的无圈图称为树
贝叶斯网络
利用图的结构降低模型的复杂度
定义
令G为定义在{
X
1
,
X
2
,
.
.
.
.
.
X
N
X_1,X_2,.....X_N
X1,X2,.....XN}上的一个贝叶斯网络,其联合概率分布可以表示为各个节点的条件概率分布的乘积:
p
(
X
)
=
∏
i
p
i
(
X
i
∣
Par
G
(
X
i
)
)
p(X)=\prod_{i} p_{i}\left(X_{i} \mid \operatorname{Par}_{G}\left(X_{i}\right)\right)
p(X)=i∏pi(Xi∣ParG(Xi))
其中
Par
G
(
X
i
)
\operatorname{Par}_{G}\left(X_{i}\right)
ParG(Xi)表示在图G上,节点
X
i
X_i
Xi的父节点,
p
i
(
X
i
∣
Par
G
(
X
i
)
)
p_{i}\left(X_{i} \mid \operatorname{Par}_{G}\left(X_{i}\right)\right)
pi(Xi∣ParG(Xi))为节点
X
i
X_i
Xi的条件概率表
eg:
![](https://i-blog.csdnimg.cn/blog_migrate/af4cc25d8acac1efb57fa23c52c6dfa2.png)
联合概率分布:
P
(
D
,
I
,
S
,
G
,
L
)
=
P
(
D
)
P
(
I
)
P
(
G
∣
D
,
I
)
P
(
S
∣
I
)
P
(
L
∣
G
)
P(D,I,S,G,L) = P(D)P(I)P(G|D,I)P(S|I)P(L|G)
P(D,I,S,G,L)=P(D)P(I)P(G∣D,I)P(S∣I)P(L∣G)
![](https://i-blog.csdnimg.cn/blog_migrate/b65b6bfcddac809b6c6d3a133941c8c4.png)
变量独立性
随机变量X,Y相互独立,满足以下三个条件,反之,如果满足以下三个条件的任意一个,则相互独立
P
(
X
,
Y
)
=
P
(
X
)
P
(
Y
)
P
(
X
∣
Y
)
=
P
(
X
)
P
(
Y
∣
X
)
=
P
(
Y
)
P(X,Y)=P(X)P(Y) \\ P(X|Y)=P(X) \\ P(Y|X)=P(Y) \\
P(X,Y)=P(X)P(Y)P(X∣Y)=P(X)P(Y∣X)=P(Y)
随机变量X,Y,Z在给定的Z的条件下独立,满足以下三个条件,反之,如果满足以下三个条件的任意一个,则相互独立
P
(
X
,
Y
∣
Z
)
=
P
(
X
∣
Z
)
P
(
Y
∣
Z
)
P
(
X
∣
Y
,
Z
)
=
P
(
X
,
Z
)
P
(
Y
∣
X
,
Z
)
=
P
(
Y
,
Z
)
P(X,Y|Z) = P(X|Z)P(Y|Z) \\ P(X|Y,Z) = P(X,Z) \\ P(Y|X,Z) = P(Y,Z)
P(X,Y∣Z)=P(X∣Z)P(Y∣Z)P(X∣Y,Z)=P(X,Z)P(Y∣X,Z)=P(Y,Z)
概率影响流动性
- 在一定的观测条件下,变量间的取值概率是否会相互影响
- 观测变量:变量取值可观测,或变量取值已经确定
- 隐变量:变量取值未知,通常根据观测变量取值,进行推理
定义:(有效迹)对于贝叶斯网络中的一条迹(路径) X 1 ⇌ . . . X n X_1\rightleftharpoons ...X_n X1⇌...Xn和观测变量的子集 Z Z Z,当 X 1 和 X n X_1和X_n X1和Xn的取值能够相互影响时,称路径是有效的,反之,若二者不能相互影响,则称 X 1 和 X n X_1和X_n X1和Xn条件独立
定义(d-分离):若图G在给定Z条件,节点X和Y之间不存在任何有效迹,则称X和Y在给定Z时是d-分离的,记为 d − s e p G ( X , Y ∣ Z ) d-sep_G(X,Y|Z) d−sepG(X,Y∣Z)
贝叶斯网络中的独立性
eg:对于节点S,其父节点是I,则S与D、G、L都条件独立
条件独立:意味着两个变量之间没有任何关联,事件A发生的概率与B发不发生没有任何关系
上图中,
P
(
L
∣
G
)
P(L|G)
P(L∣G)表示在给定G的情况下,L和I,D无关;
P
(
S
∣
I
)
P(S|I)
P(S∣I)表示在给定I的情况下,S与D、G、L条件独立
贝叶斯网络推断
因果推断:顺着箭头推断
证据推断:逆向箭头推断
交叉因果推断:双向箭头推断
![](https://i-blog.csdnimg.cn/blog_migrate/8d4dbe159a82c8e0f4cd7554e7853805.png)
![](https://i-blog.csdnimg.cn/blog_migrate/483b0c8bb5f1b192e5b80ef643371e51.png)
![](https://i-blog.csdnimg.cn/blog_migrate/0ade84f284af92b7fb045a9e9a02bcd6.png)
马尔可夫随机场
-
马尔可夫随机场(Markov Random Field,MRF)是无向概率图模型,其概率分布可以表示为:
P ( x 1 , . . . . . x n ) = 1 Z Φ ∏ i = 1 ϕ i ( D i ) P(x_1,.....x_n) = \frac{1}{Z_\Phi }\prod_{i=1}^{}\phi_i(D_i) P(x1,.....xn)=ZΦ1i=1∏ϕi(Di)
上式中, Z ϕ Z_\phi Zϕ为联合概率分布的归一化因子,称为配分函数, D i D_i Di是随机变量的集合, ϕ i ( D i ) \phi_i(D_i) ϕi(Di)是随机变量到实数域的一个映射,称为势函数或者因子
-
上式中 Z Φ Z_\Phi ZΦ就等于中间列因子乘积的累加和
-
D i D_i Di表示四个因子,每个因子有两个变量,分别是A,B、B,C、C,D、D,A
-
ϕ i ( D i ) \phi_i(D_i) ϕi(Di)表示的是第i个因子对应的参数矩阵,局部势函数
局部势函数和边缘概率的关系
局部势函数和边缘概率没有直接的联系,他们是部分和整体的关系,联合概率和边缘概率需要考虑所有变量之间的依赖关系,而局部势函数只考虑因子所包含的变量
节点势函数可以根据问题建模的需要,决定是否引入,具有灵活性
应用举例
在计算机视觉和图像处理领域,成对马尔可夫随机场(Pairwise MRF)被广泛应用
成对
M
R
F
的联合概率:
1
Z
Φ
∏
p
∈
V
ϕ
p
(
x
p
)
∏
(
p
,
q
)
∈
E
ϕ
p
q
(
x
p
,
x
q
)
成对MRF的联合概率:\frac{1}{Z_\Phi }\prod_{p\in V}^{} \phi_p(x_p)\prod_{(p,q)\in E}^{}\phi_{pq} (x_p,x_q)
成对MRF的联合概率:ZΦ1p∈V∏ϕp(xp)(p,q)∈E∏ϕpq(xp,xq)
上式表示节点势函数的连乘积 x 边上的势函数的连乘积
第一个V表示马尔可夫随机场节点的集合
第二个E表示马尔可夫随机场所有边的集合
利用成对MRF对图像处理问题建模
图像处理问题转为定义在MRF上的最大概率后验问题
m
a
x
x
p
(
x
)
∝
∏
p
∈
V
ϕ
p
(
x
p
)
∏
(
p
,
q
)
∈
E
ϕ
p
q
(
x
p
,
x
q
)
\mathop{max}\limits_{x} p(x) \propto \prod_{p\in V}^{} \phi_p(x_p)\prod_{(p,q)\in E}^{}\phi_{pq} (x_p,x_q)
xmaxp(x)∝p∈V∏ϕp(xp)(p,q)∈E∏ϕpq(xp,xq)
当令
θ
p
(
x
p
)
=
−
l
o
g
ϕ
p
(
x
p
)
,
θ
p
q
(
x
p
,
x
q
)
=
−
l
o
g
ϕ
p
q
(
x
p
,
x
q
)
\theta_p(x_p) = -log\phi_p(x_p),\theta_{pq}(x_p,x_q)=-log\phi_{pq}(x_p,x_q)
θp(xp)=−logϕp(xp),θpq(xp,xq)=−logϕpq(xp,xq)
最大后验概率推理问题就能转换成能量最小化问题:
m
i
n
x
E
(
x
)
=
∑
p
∈
V
θ
p
(
x
p
)
+
∑
(
p
,
q
)
∈
E
θ
p
q
(
x
p
,
x
q
)
\mathop{min}\limits_{x} E(x) = \sum_{p\in V}^{}\theta_p(x_p) + \sum_{(p,q)\in E}\theta_{pq}(x_p,x_q)
xminE(x)=p∈V∑θp(xp)+(p,q)∈E∑θpq(xp,xq)
能量函数参数化
因子图
贝叶斯网络和MRF都可以用因子图来表示
定义:因子图是一类无向概率图模型,包括变量节点和因子节点。变量节点和因子节点之间有无向边相连。与某个因子节点相连接的变量节点,为该因子的变量。定义在因子图上的联合概率分布可以表示为各个因子的联乘积
![](https://i-blog.csdnimg.cn/blog_migrate/ee225715414072654071c2bfb2742f80.png)
![](https://i-blog.csdnimg.cn/blog_migrate/5a610e0d12229874b4ea88ebfc856fd2.png)