监督学习的任务是学习一个模型,应用这一模型,对于给定的输入预测相应的输出。这个模型的一般形式为决策函数: Y = f ( x ) Y = f(x) Y=f(x)
或者为条件概率分布: P ( Y ∣ X ) P(Y|X) P(Y∣X)
监督学习方法又可以分成生成方法和判别方法;学习到的相应模型为生成模型和判别模型。
生成方法由数据学习联合概率分布
P
(
X
,
Y
)
P(X,Y)
P(X,Y),然后求出条件概率分布
P
(
Y
∣
X
)
P(Y|X)
P(Y∣X)作为预测模型,即生成模型:
P
(
Y
∣
X
)
=
P
(
X
,
Y
)
P
(
X
)
P(Y|X)=\frac{P(X,Y)}{P(X)}
P(Y∣X)=P(X)P(X,Y)
之所以称为生成方法,是因为模型表示了给定输入
X
X
X产生输出
Y
Y
Y的生成关系。朴素贝叶斯法和隐马尔可夫是典型的生成模型。
判别方法由数据直接学习决策函数
f
(
X
)
f(X)
f(X)或者条件概率分布
P
(
Y
∣
X
)
P(Y|X)
P(Y∣X)作为预测的模型,即判别模型。判别方法关心的是对给定的输入
X
X
X,应该预测什么样的输出
Y
Y
Y。典型判别模型有:
k
k
k近邻、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场。