监督学习方法可以分为 生成方法 和 判别方法,所学到的模型分别称为 生成模型 和 判别模型。
生成方法
生成方法是指由数据学习联合概率分布
P(X,Y)
P
(
X
,
Y
)
,然后求出条件概率分布
P(Y|X)
P
(
Y
|
X
)
作为预测的模型,即生成模型:
生成模型关注的是:给定输入 X X 产生输出 的生成关系。
典型的生成模型有: 朴素贝叶斯模型 和 因马尔科夫模型。
生成方法的特点 : 生成方法可以还原出联合概率分布 P(X,Y) P ( X , Y ) ,而判别方法则不能;生成方法的学习收敛速度更快,而且当存在隐变量时,仍可以使用生成模型,而判别模型就不能用。
判别方法
判别方法由数据直接学习 决策函数 f(X) f ( X ) 或者条件概率分布 P(Y|X) P ( Y | X ) 作为预测的模型,即判别模型。
判别方法更关心的是: 给定输入 X X ,应该预测出什么样的输出 。
典型的判别模型有: k k 近邻法、感知机、决策树、 回归模型、最大熵模型、支持向量机、提升方法 和 条件随机场 等。
判别方法的特点:判别方法直接学习的是 条件概率 P(Y|X) P ( Y | X ) 或决策函数 f(X) f ( X ) , 直接面对预测,往往学习的准确率更高。