机器学习之马尔可夫链、马尔可夫随机场、条件随机场

概率模型与概率图模型

概率模型

概率模型（probabilistic model）提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测未知变量的分布称为推断（inference），其核心是如何基于可观测变量推测出未知变量的条件分布。假定所关心的变量集合为Y，可观测变量集合为O，其他变量的集合为R。

• 生成式（generative）模型考虑联合分布P(Y,R,O)
• 判别式（discriminative）模型考虑条件分布P(Y,R|O)

给定一组观测变量值，推断就是要由P(Y,R,O)或P(Y,R|O)得到条件概率分布P(Y|O)

概率图模型

概率图模型（probabilistic graphical model）是一类用图来表达变量相关关系的概率模型。它以图为表示工具，最常见的是用一个结点表示一个或一组随机变量，结点之间的边表示变量间的概率相关关系，即变量关系图。

根据边的性质不同，概率图模型可大致分为两类

• 贝叶斯网</