正则化
- 结构风险最小化策略实现
- 经验风险上加上一个正则化项(regularizer)或罚项(penalty term)
- 正则化项一般是模型复杂度的单调递增函数
-
奥卡姆剃刀原理(Occam’s razor)角度
能够很好地解释数据并且十分简单 -
贝叶斯估计(Bayesian estimation)角度
正则化项对应于模型的先验概率
交叉验证
- 应用场景:数据不充足时模型选择
- 基本想法:重复使用数据;把给定的数据进行切分,组合为训练集与测试集,在此基础上反复训练、测试以及模型选择
-
简单交叉验证
- 一部分作训练集,一部分作测试集
- 用训练集在各种条件下训练模型,在测试集上评价各个模型测试误差
-
S折交叉验证
- 随机切分S个互不相交子集
- S-1个子集训练,一个子集测试
- 对可能的S种选择重复进行,选择S次平均误差最小的模型
-
留一交叉验证
- S折交叉验证特殊情形:S=N
- 应用场景:数据缺乏
泛化能力
- 泛化误差(generalization error)
学到的模型对未知数据预测的误差。事实上,即期望风险
- 泛化误差上界(generalization error bound)
- 是样本容量的函数,样本容量增加时趋于0
- 是假设空间容量的函数,容量越大,上界越大
- 上式证明用到了Hoeffding不等式
生成模型与判别模型
监督学习方法可以分为生成方法(generate approach)和判别方法(discriminative approach),所学到的模型分别为生成模型与判别模型
生成模型
- 生成方法由数据学习联合概率分布,然后求出条件概率分布作为预测模型
- 模型表示了给定输入X产生输出Y的生成关系
- 典型生成模型:朴素贝叶斯、隐马尔可夫
- 生成方法特点:
- 可以还原出联合概率分布
- 学习收敛速度更快
- 存在隐变量时仍可用
判别模型
- 判别方法由数据直接学习决策函数或条件概率分布
- 判别方法关心的是对给定的输入X应该预测什么样的输出Y
- 典例:k近邻法、感知机、决策树、logistic回归模型、最大熵模型、支持向量机、提升方法和条件随机场
- 判别方法特点
- 直接面对预测,往往学习的准确率更高
- 由于直接学习,可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可简化学习问题
分类问题
输出变量取有限个离散值
- 二分类问题常用评价指标——精确率(precision)与召回率(recall)
- TP、FN、FP、TN
- 后面P/N表示被预测为正/负类,前面T/F表示预测准确与否
- 后面P/N表示被预测为正/负类,前面T/F表示预测准确与否
标注问题(tagging)
分类问题的推广,结构预测(structure prediction)问题的简单形式
- 输入:观测序列
- 输出:标记序列或状态序列
常用:隐马尔可夫模型,条件随机场
应用:信息抽取、自然语言处理
回归问题(regression)
- 等价于函数拟合
- 分类
- 按输入变量个数:一元回归和多元回归
- 模型类型:线性回归和非线性回归
- 使用平方损失函数时可由最小二乘法(least squares)求解