学习笔记7：判别模型和生成模型

假设样本为X，标签为Y：
判别模型是对条件分布P(Y|X)进行建模；
生成模型是对x,y的联合分布P(X,Y)进行建模。

举个例子，假设有4个样本：

生成模型如下：

而判别模型则是：

可以看出，生成模型主要表示了输入X和输出Y的生成关系；而判别模型主要关心的是输入X应该输出什么样的Y。

典型的生成模型主要有高斯混合模型，受限玻尔兹曼机，朴素贝叶斯和隐马尔科夫模型。典型的判别模型主要有K邻近法，感知机和决策树。

生成方法的特点：

（1）学习的收敛速度快，即当样本容量增加时，学习到的模型能更多更好收敛到真是模型。

（2）当存在隐变量时，仍可用生成方法来学习。

判别方法的特点：

（1）直接面对预测，其学习的准确度跟高。

（2）能对数据进行各种抽象、定义特征并使用特征，因此可以简化学习问题。

在深度神经网络中常会采用生成模型，可通过理解Gaussian混合模型来理解生成模型。

参考：https://www.zhihu.com/question/20446337