【ML】什么是判别模型和生成模型

1. 判别模型和生成模型所属范畴

2. 直观理解

【判别模型】：要确定一张图片是猫还是狗，用判别模型的方法就是根据数据集X训练模型，然后把新的图片输入到模型中，模型给出这个图片是每个类别的概率。

【生成模型】：生成模型是对原始数据集X和其标签Y建模，生成其联合概率。然后将新的图片放入是否是猫的模型中，看概率是多少；然后将新的图片放入是否是狗的模型中，看概率是多少。

（联合概率：联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X<4,Y<0}就是一个联合概率，表示X<4,Y<0两个条件同时成立的概率。表示两个事件共同发生的概率。A与B的联合概率表示为 P(AB) 或者P(A,B),或者P（A∩B）。）

3. 判别模型

【判别模型】：由数据直接学习决策函数f(x)或者条件概率分布P(Y|X)作为预测的模型，即判别模型。
【基本思想】是有限样本条件下建立判别函数，不考虑样本的产生模型，直接研究预测模型。
【典型的判别模型】包括KNN，感知机，决策树，支持向量机等。

常见的判别模型：KNN，SVM，神经网络，决策树。

4. 生成模型

【生成模型】：由数据学习联合概率密度分布P(X,Y)，然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型：P(Y|X)= P(X,Y)/ P(X)。
【基本思想】是首先建立样本的联合概率概率密度模型P(X,Y)，然后再得到后验概率P(Y|X)，再利用它进行分类。

常见的模型有：高斯混合模型，朴素贝叶斯模型。

5.生成模型和判别模型的联系

由生成模型可以得到判别模型，但由判别模型得不到生成模型。

6. 生成模型和判别模型的优缺点

在监督学习中，两种方法各有优缺点，适合于不同条件的学习问题。

生成模型的特点：上面说到，生成方法学习联合概率密度分布P(X,Y)，所以就可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。但它不关心到底划分各类的那个分类边界在哪。生成方法可以还原出联合概率分布P(Y|X)，而判别方法不能。生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快的收敛于真实模型，当存在隐变量时，仍可以用生成方法学习。此时判别方法就不能用。

判别模型的特点：判别方法直接学习的是决策函数Y=f(X)或者条件概率分布P(Y|X)。不能反映训练数据本身的特性。但它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。直接面对预测，往往学习的准确率更高。由于直接学习P(Y|X)或P(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。

参考：

https://www.cnblogs.com/itmorn/p/13199148.html

https://mp.weixin.qq.com/s/l5f4jpqK120TpWGQbP1dBg

https://blog.csdn.net/zouxy09/article/details/8195017