统计学习方法笔记(三)
1.7生成模型与判别模型
监督学习的任务就是学习一个模型,应用这一模型,对给定的输入,预测相应的输出。这个模型一般形式为决策函数:
Y=f(X) Y = f ( X )
或者条件概率分布:
P(Y|X) P ( Y | X )
监督学习方法又可以分为生成方法和判别方法,所学的模型分被称为生成模型和判别模型。
生成方法由数据学习联合分布律P(X,Y),然后求出条件概率分布P(Y|X)作为预测模型,即生成模型:
P(Y|X)=P(X,Y)P(X) P ( Y | X ) = P ( X , Y ) P ( X )
1.8分类问题
在监督学习中,当输出变量Y取有限个离散值是,预测问题便成为分类问题。这时,输入变量X可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或一个分类决策函数,称为分类器。对新的输入进行预测称为分类。
1.9标注问题
标注问题是分类问题的一个推广,是更复杂的的结构预测问题的简单形式,标注问题的输入是一个观察序列,输出是一个标记序列。标注问题的目标在于学习一个模型,使它能够对观察序列给出标记序列作为序列。
标注问题分为学习和标注两个过程。首先给定一个训练数据集:
T=(x(1),y(1)),(x(2),y(2)),...,(x(N),y(N)) T = ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , . . . , ( x ( N ) , y ( N ) )
输入序列:
x(i)=(x(i)1,x(i)2,...,x(i)n)T x ( i ) = ( x 1 ( i ) , x 2 ( i ) , . . . , x n ( i ) ) T
输出序列:
y(i)=(y(i)1,y(i)2,...,y(i)n)T y ( i ) = ( y 1 ( i ) , y 2 ( i ) , . . . , y n ( i ) ) T
i=1,2,...,N i = 1 , 2 , . . . , N
n是序列的长度
学习系统基于训练数据集构建一个模型,表示为条件概率分布:
P(Y1,Y2,Y,...,Yn|X1,X2,...,Xn) P ( Y 1 , Y 2 , Y , . . . , Y n | X 1 , X 2 , . . . , X n )
标注系统按照学习得到的条件概率分布模型,对新的输入观测序列找到相应的输出的标记序列。
1.10回归问题
回归用于预测输入变量和输出变量之间的关系。回归模型是表示从输入变量输出变量之间的映射。回归问题等价于函数拟合,选择一条函数曲线使其很好的预测未知数据。