生成模型和判别模型的区别

最新推荐文章于 2024-09-30 10:26:58 发布

Zhang_Raymond

最新推荐文章于 2024-09-30 10:26:58 发布

阅读量9.6k

点赞数 38

分类专栏：机器学习文章标签：生成模型判别模型机器学习

本文链接：https://blog.csdn.net/qq_20011607/article/details/81744614

版权

机器学习专栏收录该内容

4 篇文章 0 订阅

订阅专栏

先上结论

公式上看

生成模型：学习时先得到 $P (x, y)$ ，继而得到 $P (y ∣ x)$ 。预测时应用最大后验概率法（MAP）得到预测类别 $y$ 。
判别模型：直接学习得到 $P (y ∣ x)$ ，利用MAP得到 $y$ 。或者直接学得一个映射函数 $y = f (x)$ 。

直观上看

生成模型：关注数据是如何生成的
判别模型：关注类别之间的差别

先直观理解

我们先从直观上来理解一下：

生成模型： 源头导向。尝试去找到底这个数据是怎么产生的，然后再对一个信号进行分类。基于你学习到的生成假设，判断哪个类别最有可能产生这个信号，这个样本就属于那个类别。
判别模型： 结果导向。并不关心样本数据是怎么生成的，它只关心样本之间的差别，然后用差别来简单对给定的一个样本进行分类。

举个例子

借用一下这位老兄的例子：

假如你的任务是识别一个语音属于哪种语言。例如对面一个人走过来，和你说了一句话，你需要识别出她说的到底是汉语、英语还是法语等。那么你可以有两种方法达到这个目的：

学习每一种语言，你花了大量精力把汉语、英语和法语等都学会了，我指的学会是你知道什么样的语音对应什么样的语言。然后再有人过来对你说，你就可以知道他说的是什么语音.
不去学习每一种语言，你只学习这些语言之间的差别，然后再判断（分类）。意思是指我学会了汉语和英语等语言的发音是有差别的，我学会这种差别就好了。

那么第一种方法就是生成方法，第二种方法是判别方法。

再深入理解

监督学习的任务：学习一个模型，应用这一模型，对给定的输入预测相应的输出。
这一模型的一般形式为一个决策函数或者条件概率分布：

决策函数 $y = f (x)$ 直接得到输入 $x$ 到输出 $y$ （某个类别）的映射函数。（例如神经网络和SVM等属于这种）
条件概率分布 $P (y ∣ x)$ 预测时用最大后验概率**(MAP) $y = argmax _{y_i} P(y_i|x)$ 的方法决定输出类别 $y$ 。（例如贝叶斯分类器就属于这种）

监督学习方法又可以分为生成方法(generative approach)和判别方法(discriminative approach)。所学到的模型分别为生成模型(generative model)和判别模型(discriminative model)**。

生成模型

先由数据学习联合概率分布 $P (x, y)$ 和先验概率分布 $P (x)$ ，然后求出条件概率分布 $P (y ∣ x) = P (x, y) / P (x)$ 作为预测的模型，即得到生成模型: $\frac{P(x,y)}{P(x)}$ 生成方法强调的是：通过得到 $P (x, y)$ ，继而得到 $P (y ∣ x)$ 。