1、基本概念
1> 输入空间、特征空间和输出空间
在监督学习中,将输入和输出可能取值的集合定义为输入空间和输出空间。
每个具体的输入是一个具体的实例,通常由特征向量表示,所有的特征向量存在的空间特征空间。
2>联合概率分布
监督学习假设输入变量X和输出变量Y遵循联合概率分布P(X,Y),P(X,Y)表示分布函数,监督学习就是学习联合概率分布的具体定义。
3>假设空间
监督学习的目标在于学习一个从输入空间到输出空间的映射,这一映射用模型来表示。模型属于由输入空间到输出空间映射的集合,这个集合就是假设空间。
2、统计学习要素
方法=模型+策略+算法
1>模型:
监督学习中,模型就是所要学习的条件概率或决策函数。模型的假设空间包括所有可能的条件概率分布或决策函数
2>策略
统计学习的目标在于从假设空间中获得最优模型,评价模型的指标主要是损失函数
a)损失函数度量模型一次预测的好坏,风险函数度量平均意义下的模型预测的好坏,可以说风险函数是损失函数的数学期望
b)从训练样本中追求风险最小,称为经验风险最小化,有可能能会导致模型的过拟合,泛化能力不足,通过增加惩罚因子,追求结构化风险最小
3>算法:统计学习方法为最优化问题,一般都通过数值计算方法来实现
3、生成模型和判别模型
生成方法是由数据学习联合概率分布P(X,Y),然后给出条件概率分布P(Y|X)作为预测的模型,即:生成模型。典型的生成模型包括:朴素贝叶斯法和隐马尔科夫链
判别方法是直接学习决策函数f(X)或者条件概率分布P(Y|X)作为预测的模型,即:判别模型。典型的判别的模型包括:K近邻法,感知器,决策树,逻辑回归模型、最大熵模型、支持向量机、提升方法和条件顺机场。
4、分类、标注和回归
分类就是传统的分类,典型的如决策树
回归预测Y和X关系,典型的是线性回归和逻辑回归
标注问题:标注问题是典型的结构预测问题,比如自然语言处理中的词性标注就是一个标准问题