统计学习及监督学习概论
1. 概念
- 机器学习的分类:
- 监督学习:从给定的训练数据集中学习出一个函数。训练集要求包括输入和输出,特征和目标。常见的监督学习有回归分析和统计分类(连续/离散)
- 无监督学习:训练集没有人为标注的结果。常见的有聚类。
- 半监督学习:介于监督学习和无监督学习之间
- 增强学习:通过观察学习做成动作。每个动作都会对环境有所影响。学习对象根据观察到的周围环境的反馈来做出判断。
- 假设空间:假设要学的模型属于某个函数的集合,模型可以将输入空间映射到输出空间,这个集合称为假设空间。需要从假设空间选取一个最优的模型,使其在给定的评价准则下对已知数据有最优的预测。
- 统计学习三要素:模型(模型的假设空间)、策略(评价模型)、算法(模型的学习算法)
- 输入/输出空间:在监督学习中,将输入与输出所有可能取值的集合分别称为输入空间、输出空间。
- 特征空间:每个具体的输入是一个实例,通常由特征向量表示。所有特征向量存在的空间为特征空间。
- 数学表达:
- 预测问题:
- 回归问题:输入输出都连续
- 分类问题:输出有限离散变量
- 标注问题:输入输出都是变量序列
- 监督学习的模型可以是概率模型或非概率模型,由条件概率分布 ( P ( Y ∣ X ) (P(Y∣X) (P(Y∣X)或决策函数 Y = f ( X ) Y=f(X) Y=f(X)表示
- 泛化能力:学习方法对未知数据的预测能力称为泛化能力
- 过拟合:学习时的模型包含参数过多,对已知数据预测的很好,对未知数据预测差
2. 统计学习三要素
模型
监督学习中,模型就是要学习的条件概率分布或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。
策略
策略是指按照什么样的准则学习或选择最优的模型。
算法
指学习模型的具体计算方法。当根据学习策略,选择最有模型后,要考虑如何求解最优化问题。
3. 正则化与交叉验证
- 正则化:在经验风险上加上一个正则化项或惩罚项。正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值越大。目的是选择经验风险(损失函数)和模型复杂度同时较小的模型。
- 交叉验证:把原始数据切分为train data和test data.训练数据再切分几组,其中一份为验证集,其他几份做训练数据;再抽取另一份做验证集,剩下的做训练数据;在训练集上训练不同的模型,在抽取的验证集上验证模型,比较这些验证结果,选取效果好模型。
4. 泛化误差上界
泛化误差上界:泛化误差概率的上界。
5. 生成模型/判别模型
- 监督学习的方法:生成方法,判别方法
- 生成方法:由数据学习联合概率分布,求出条件概率分布作为预测模型:
P
(
Y
∣
X
)
=
P
(
Y
,
X
)
P
(
X
)
P(Y∣X)=\frac{P(Y,X)}{P(X)}
P(Y∣X)=P(X)P(Y,X)
- 模型表示了给定输入X产生输出Y的生成关系
- 收敛速度快,存在隐变量
- 典型的生成模型:朴素贝叶斯、隐马尔科夫模型
- 判别方法:由数据直接学习决策函数f(X)或条件概率分布P(Y|X)做预测的模型。
- 典型的判别模型:k临近法,感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场)
6. 分类问题
- 正类:关注的类; 负类:其他类
- tp:正类预测为正类
- fn:正类预测为负类
- fp:负类预测为正类
- tn:负类预测为负类
- 精确率:预测结果为正类的准确率
- 召回率:实际为正类的实例中预测的准确率