预测目标
在讨论生成模型和判别模型之前,我们先回顾一下机器学习要解决的两类问题。
假设x是输入的特征(feature),y是预测的结果(分类是label,回归是value)。
1.分类:P(y|x) ,即根据输入特征求目标分类。
2.回归:y=f(x),即根据输入特征直接求值。
由于分类问题和回归可以相互转化,下文我们以分类为例。
判别模型
判别模型直接求解条件概率P(y|x)(最终目标驱动)。
生成模型
生成模型需要已知联合概率分布p(x,y),再根据贝叶斯公式
P(y|x)=P(x,y)/P(x)
P
(
y
|
x
)
=
P
(
x
,
y
)
/
P
(
x
)
可求得最终目标。因此它是根据样本的统计学规律,
间接得进行分类。
这样还有一个问题:使用样本的P(x),数据量非常大的时候才准确。回想根据投硬币统计正面向上次数求P(正面向上)那个实验,要次数很大时才使得P接近1/2。
两者之间关系
生成模型⟹判别模型
生
成
模
型
⟹
判
别
模
型
参考文献
神经网络与深度学习(吴岸城)p104-p107
https://www.zhihu.com/question/20446337