概率图模型

概率图模型大致可分为两类：

若使用有向无环图表示变量之间的依赖关系，称为贝叶斯网（Bayesian nerwork）或有向图模型；
若使用无向图表示变量间的相关关系，则称为马尔可夫网（Markov network）或无向图模型。

一、隐马尔科夫模型(HMM)——动态贝叶斯网

马尔科夫链：系统下一时刻的状态仅由当前状态决定，不依赖于以往的任何状态。

基于马尔科夫链的依赖关系，所有变量的联合概率分布为：

其中，P(y_i|y_i-1)体现了马尔科夫链的性质，P(x_i|y_i)体现了观测变量由状态变量决定。

定义：

算法步骤：

基本问题：评估、预测、调参(训练)

应用场景：时序信号场景，例如语音识别、自然语言处理、手势识别、视频处理等等。

二、马尔科夫随机场(MRF)——马尔科夫网

定义：

团:对图中结点的一个子集，若其中任意两结点间都有边连接，则称该结点子集为一个团。
极大团:若在一个团中加入另外任何一个结点都不再形成团，则称该团为极大团。
势函数:定量刻画变量集x_Q中变量之间的相关关系。为了满足非负性，指数函数通常被用于定义势函数。
分离集:若A结点集必须经过C结点集才能到达B结点集，则称C为分离集。

联合概率分布函数：

对联合概率建模：

相关性质：

• 全局马尔可夫性：给定两个变量子集的分离集，则这两个变量子集条件独立。
• 局部马尔可夫性：给定某变量的邻接变量，则该变量与其它变量条件独立。
• 成对马尔可夫性：给定所有其他变量，两个非邻接变量条件独立。

应用场景：图像分割等等。

三、条件随机场(CRF)——马尔科夫网

对条件概率建模：