概率图模型课本笔记（三）

概率图模型小结：

1. 两种模型：有向图、无向图（先不考虑混合的）

2. 三个知识点：（1）联合概率密度函数的表达 （2）推理   （3）学习

（1）对于联合概率密度函数的表达，是根据图模型结构、贝叶斯链式法则、Hammerslery-Clifford定理、d-分离、Z-分离可以直接写出，分析随机变量之间的依赖和独立性；而在局部内可以参数化，比如指数族的概率密度函数等各类概率密度函数。

（2）对于计算小的模型，推理可以直接根据联合概率密度函数；

（3）对于计算小的模型，学习可以根据极大似然估计得到参数。

 

3.分析复杂模型下的推理和学习。总结地说，

对于近似推理，有变分法，消息传递和采样法

对于学习，最大化总体对数似然等价于分别通过最大化单个样本对数似然，对每个局部参数进行估计；

KL散度；变分学习；梯度下降

 

4. 除此之外，结构学习的根本目标是确定数据样本的概率图结构

 

5.变分方法

是用一个曲线族去逼近一个复杂的概率密度函数；有squence和block两种方法，后者包括KL散度

6.采样的方法

马尔科夫链蒙特卡洛采样方法

 

转载于:https://www.cnblogs.com/Wanggcong/p/6649224.html