概率图模型 1（贝叶斯网络）

概率图：

这里的图是一种工具，用图的方式来表示概率，更加直观
按照表现方式分类：
$$概率图=\{\begin{array}{l}有向图：代表：贝叶斯网络\\ 无向图：代表：马尔科夫网络\end{array}$$
按照推断问题可分为：
$$inference=\{\begin{array}{l}精确推断：代表：置信传播（Beliefpropagation）\\ 近似推断：代表：变分推断（确定性近似）\end{array}$$

---

贝叶斯网络

---

对于一个高维随机变量X，求X的概率可分为：

$$高维随机变量P(x_1,x_2,x_3,...,x_n)=\{\begin{array}{l}边缘概率：：p(x_i)\\ 条件概率：：p(x_i|x_j)\end{array}$$
用到的法则有：
$$概率常用法则：=\{\begin{array}{l}加法法则：：p(x_1)={\int }_{x_2}(x1,x2)d{x}_2\\ 乘法法则：：p(x_1,x_2)=p(x_1|x_2)p(x_2)=p(x_2|x_1)p(x_1)\\ 链式法则：：p(x_1,x_2,x_3,...,x_p)=\prod _{i=1}^{p}p(x_i|x_1,x_2,....x_{i-1})\\ 贝叶斯法则：：p(x_2|x_1)=\frac{p(x_1,x_2)}{p(x_1)}=\frac{p(x_1,x_2)}{\int p(x_1,x_2)d{x}_2}\end{array}$$
存在的问题： 维度高的情况下，计算复杂，$p(x_1,x_2,...,x_p)计算量大$
想到的办法：简化

1. 假定各个变量间彼此独立，此时有：
   $p(x_1,x_2,x_3,...,x_p)=\prod _{i=1}^{p}p(x_i)$ :就是朴素贝叶斯模型
2. 假定每个变量只与相邻变量有关，此时有：
   $p(x_1,x_2,x_3,...,x_p)=\prod _{i=1}^{p}p(x_i|x_{i-1})$ : 就是马尔科夫模型
3. 假定每个集合只与相邻集合有关，此时有：
   $p(X_A\perp X_B|X_C）X_A,X_B,X_C\in 集合且不相交$，就是条件独立性

有了条件独立性，联合概率的贝叶斯公式可以写为：
$p(x_1,x_2,x_3,...,x_p)=\prod _{i=1}^{p}p(x_i|x_{parent})，x_{parent}\in x_i的父亲集合$
几种常见的条件独立性概率图的表现形式：

1. head-to-head形式
   
   应用链式法则有：$p(abc)=p(a)p(b|a)p(c|a,b)$
   因式分解方式有：$p(abc)=p(a)p(b)p(c|ab)$
   所以有$p(b|a)=p(b)$,也就是默认情况下$a独立于b$
2. $tail-to-tail$形式：
   
   应用链式法则有：$p(cba)=p(c)p(b|c)p(a|b,c)$
   因式分解方式有：$p(cba)=p(c)p(b|c)p(a|c)$
   所以有$p(a|b,c)=p(a|c)$,也就是给定C的情况下$a\perp b$
3. $head-to-tail$形式：
   
   应用链式法则有：$p(acb)=p(a)p(c|a)p(b|a,c)$
   因式分解方式有：$p(acb)=p(a)p(c|a)p(b|c)$
   所以有$p(b|a,c)=p(b|c)$,也就是给定C的情况下$a\perp b$