机器学习-白板推导系列笔记（九）-概率图模型

此文章主要是结合哔站shuhuai008大佬的白板推导视频：概率图模型_297min

全部笔记的汇总贴：机器学习-白板推导系列笔记

PS：本次课程所提及的内容，在后面的章节都有讲解，可以先跳过，然后在看完粒子滤波这一章的时候进行回顾复习，我到时候也会在那一章的最后放一个传送门过来的。

一、概述

（一）概率图模型的知识体系

$$概率图\{\begin{array}{c}Representation(表示)\{\begin{array}{c}有向图BeyesianNetwork\\ 高斯图（连续）\{\begin{array}{c}GaussianBN\\ GaussianMN\end{array}\\ 无向图MarkovNetwork\end{array}\\ Inference(推断)\{\begin{array}{c}精确推断\\ 近似推断\{\begin{array}{c}确定性近似（变分推断）\\ 随机近似（MCMC）\end{array}\end{array}\\ Learning(学习)\{\begin{array}{c}参数学习\{\begin{array}{c}完备数据\{\begin{array}{c}有向\\ 无向\end{array}\\ 隐变量\to EM\end{array}\\ 结构学习\end{array}\end{array}$$

（二）基本规则

概率图模型使用图的形式来表示概率分布，下面是几个随机变量分布的一些规则：

$$\begin{gathered} SumRule:p(x_1)=\int p(x_1,x_2)\mathrm{d}{x}_2 \\ ProductRule:p(x_1,x_2)=p(x_1|x_2)p(x_2) \\ ChainRule:p(x_1,x_2,\cdots ,x_p)=\prod _{i=1}^{p}p(x_i|x_{i+1},x_{i+2},\cdots ,x_p) \\ BayesianRule:P(x_2|x_1)=\frac{P(x_1,x_2)}{P(x_1)}=\frac{P(x_1,x_2)}{\int P(x_1,x_2)\mathrm{d}{x}_2}=\frac{P(x_2)P(x_1|x_2)}{\int P(x_2)P(x_1|x_2)\mathrm{d}{x}_2} \end{gathered}$$

（三）简化运算假设

在链式规则中如果数据的维度过高，就会出现计算复杂的困境，因此我们需要对此做出一些简化：

$①$相互独立的假设：$P(x_1,x_2,\cdots ,x_p)={\prod }_{i=1}^{p}P(x_i)$，
朴素贝叶斯中的条件独立性假设：$P(x|y)={\prod }_{i=1}^{p}P(x_i|y)$；
$②$ $MarkovProperty:x_j\perp x_{i+1}|x_i,j<i$，HMM中的齐次Markov假设；
$③$条件独立性假设：$x_A\perp x_B|x_C,x_A、x_B、x_C$是集合，且不相交。

二、有向图-贝叶斯网络

（一）基本结构

已知联合概率分布中各个随机变量的依赖关系，可以根据拓扑排序（依赖关系）得到一个有向图。而如果已知一个有向图，可以直接得到联合概率分布的因子分解：

$$P(x_1,x_2,\cdots ,x_p)=\prod _{i=1}^{p}P(x_i|x_{parent(i)})$$

在局部的任何三个节点，可以有以下三种结构：

• head to tail
  

这种结构满足：

$$A\perp C|B\iff 若B被观测，则路径被阻塞$$

通过因子分解和链式规则可以进行证明：

$$\begin{gathered} P(A,B,C)=\underset{因子分解}{\underbrace{P(A)P(B|A)P(C|B)}}=\underset{链式法则}{\underbrace{P(A)P(B|A)P(C|B,A)}} \\ \Rightarrow P(C|B)=P(C|B,A) \\ \Rightarrow P(C|B)P(A|B)=P(C|A,B)P(A|B) \\ \Rightarrow P(C|B)P(A|B)=P(C,A|B) \\ \Rightarrow C\perp A|B \end{gathered}$$

• tail to tail
  
  这种结构满足：

$$A\perp C|B\iff 若B被观测，则路径被阻塞$$

通过因子分解和链式规则可以进行证明：

$$P(A,B,C)=\underset{因子分解}{\underbrace{P(A|B)P(B)P(C|B)}}$$