图模型的学习与推断

图模型是概率建模的有力工具，最大优点就是可解释性强。缺点就是经常需要选择特殊的分布来保证好的数学性质，保证可解性。

图模型的推断：
一般指，对联合分布通过对无关分布求积分或者求和得到待推断变量的边际或边缘分布。
图模型的学习：
一般指，对图模型的各种分布的参数的估计。如果把参数也看成待推断变量，则图模型的学习过程和推断过程类似，可以统称为推断。

因此接下来我们只谈图模型的推断。推断分为两种：
1）精确推断
精确推断主要指通过变量消去以及衍生算法：信念传播机制(消息传递)。但是实际过程极其复杂，计算量非常大。因此诞生了近似推断。
2）近似推断
近似推断也分两种：一是随机性推断，二是确定性推断。前者是利用采样方法来近似。后者利用确定性方法近似，比如变分推断方法，也叫变分贝叶斯推断。
变分推断也是一种思想一个框架，具体来说就是用一个简单分布来逼近一个复杂分布，尽管是简单分布但是直接求解依然不可行，通常添加相互独立假设，分解这个简单分布为若干可解分布的乘积，利用平均场思想求解近似分布。
注意：变分推断是一种特殊的高阶的EM算法。