统计学习方法-李航（5）

生成模型与判别模型

决策函数$Y=f(x)$或$P(Y|X)$

监督学习方法

生成方法（generative approach）

$P(Y,X)$

生成模型(generative model)

$P(Y|X)=\frac{P(X,Y)}{P(X)}$
因为模型表示了给定输入$X$产生输出$Y$的生成关系
Z.B. 朴素贝叶斯法和隐马尔可夫模型

判别方法（discriminative approach）

法由数据直接学习决策函数$(X)$或者条件概率分布$P(Y|X)$作为预测的模型，判别模型。
判别方法关心的是对给定的输入$X$，应该预测什么样的输出$Y$。

判别模型(discriminative model )

Z.B. ：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提 升方法和条件随机场

生成方法的特点

1、可以还原出联合概率分布$P(X,Y)$
2、的学习收敛速度更快（当样本容量增加的时候，学到的模型可以更快地收敛于真实模型）
3、当存在隐变量时，仍可以用生成方法学习

判别方法的特点

1、学习的准确率更高（判别方法直接学习的是条件概率$P(Y|X)$或决策函数$f(X)$）
2、可以简化学习问题（直接学习$P(Y|X)$或$f(X)$，可以对数据进行各种程度上的抽象、定义特征并使用特征）