生成式模型与判别式模型

假设可观测到的集合为X，需要预测的变量集合为Y，其他变量集合为Z。

生成式模型是对联合概率分布$P(X,Y,Z)$进行建模，在给定观测集合X的条件下，通过计算边缘分布来得到对变量集合Y的推断，即：
$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{{\sum }_{Z}P(X,Y,Z)}{{\sum }_{Y,Z}P(Y,Z|X)}$$

判别式模型是直接对条件概率分布$P(Y,Z|X)$进行建模，然后消掉无关变量$Z$就可以得到对变量集合$Y$的预测，即：
$$P(Y|X)=\sum _{Z}P(Y,Z|X)$$

常见的概率图模型有朴素贝叶斯、最大熵模型、贝叶斯网络、隐马尔可夫模型、条件随机场、pLSA、LDA。

• 朴素贝叶斯、贝叶斯网络、pLSA、LDA等模型都是先对联合概率分布进行建模，然后再通过边缘计算得到对变量的预测，所以它们都属于生成式模型。
• 隐马尔可夫模型（HMM）也属于生成式模型
• 条件随机场（CRF）属于判别式模型