如何区分生成模型和判别模型？

最新推荐文章于 2024-08-16 23:47:24 发布

kingfoulin

最新推荐文章于 2024-08-16 23:47:24 发布

阅读量1.7k

点赞数

分类专栏：深度学习生成模型判别模型机器学习概率图

本文链接：https://blog.csdn.net/kingfoulin/article/details/91389237

版权

本文探讨了生成模型和判别模型的区别与联系。生成模型学习联合概率密度分布P(X,Y)，通过贝叶斯公式求解P(Y∣X)，如朴素贝叶斯和隐马尔可夫模型；而判别模型直接学习Y=f(X)或P(Y∣X)，如K近邻和SVM。在深度学习中，两者分别对应分类网络和生成网络的建模方式。" 139206298,18437755,Linux环境下搭建全分布式的Zookeeper与HBase集群,"['Linux', '分布式系统', 'Zookeeper集群', 'HBase集群', 'Hadoop兼容性']

摘要由CSDN通过智能技术生成

生成模型和判别模型

简单的概念

监督学习的目标是学习的得到一个模型，通过这个模型对给定的输出，得到一个特定的输出，从而预测该数据的类别。这个模型可以称为 classifier。这个模型对应的函数一般是 $Y = f (X)$ 或者是 $P (Y ∣ X)$ (在数理统计中，随机变量是 $x$ ,样例是 $X$ )。

对于决策函数 $Y = f (X)$ 类型，需要设置一个阈值 $t h r e s h o l d$ 用于判断。

对于条件概率分布 $P (Y ∣ X)$ ，由于计算的是属于所有类型的概率，因此选取概率最大的。完成判别。

两者的关联：

两者其实在本质上是一样的。

当网络使用的是 $Y = f (X)$ 的形式的时候，训练的时候采用的是 $M S E$ ，该目标函数使得网络可以输出和真实标签（一般采用 $one\_hot$ 编码）最接近的 $Y$ ，这其实是一种极大似然思想。对于给定的 $(X, Y)$ ,该次训练网络使得其输出和真实的标签 $Y$ 逼近（最大化其发生的概率），也就是最大化$ P(Y|X)=1 $ 或者是$ P(Y|X)=0 $（这里的似然是对 * * 发生 * * 而言的，哪个事件发生了，其对应的概率就要达到极$