生成模型和判别模型
简单的概念
监督学习的目标是学习的得到一个模型,通过这个模型对给定的输出,得到一个特定的输出,从而预测该数据的类别。这个模型可以称为 classifier。这个模型对应的函数一般是 Y = f ( X ) Y=f(X) Y=f(X)或者是 P ( Y ∣ X ) P(Y|X) P(Y∣X) (在数理统计中,随机变量是 x x x,样例是 X X X)。
对于决策函数 Y = f ( X ) Y=f(X) Y=f(X)类型,需要设置一个阈值 t h r e s h o l d threshold threshold用于判断。
对于条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X),由于计算的是属于所有类型的概率,因此选取概率最大的。完成判别。
两者的关联:
两者其实在本质上是一样的。
当网络使用的是 Y = f ( X ) Y=f(X) Y=f(X)的形式的时候,训练的时候采用的是 M S E MSE MSE,该目标函数使得网络可以输出和真实标签(一般采用 o n e _ h o t one\_hot one_hot编码)最接近的 Y Y Y,这其实是一种极大似然思想。对于给定的 ( X , Y ) (X,Y) (X,Y),该次训练网络使得其输出和真实的标签 Y Y Y逼近(最大化其发生的概率),也就是最大化$ P(Y|X)=1 $ 或者是$ P(Y|X)=0 ( 这 里 的 似 然 是 对 ∗ ∗ 发 生 ∗ ∗ 而 言 的 , 哪 个 事 件 发 生 了 , 其 对 应 的 概 率 就 要 达 到 极 值 。 ) 因 此 , 这 里 的 输 出 其 实 就 是 (这里的似然是对**发生**而言的,哪个事件发生了,其对应的概率就要达到极值。)因此,这里的输出其实就是 (这里的似然是对∗∗发生∗∗而言的,哪个事件发生了,其对应的概率就要达到极