《统计学习方法》- 概念介绍

1.1 基本概念

输入空间映射出特征空间，每一个具体的输入是一个实例，特征空间由特征向量组成

输入空间到输出空间的映射是模型，模型的集合称为假设空间

输入和输出对(x, y)称为样本或样本点

X和Y符合联合概率分布

预测系统对于给定的测试样本集中的输入xN+1给出对应的输出

1.2 统计学习三要素

1.2.1 模型

非概率模型有决策函数Y=f(X)表示，概率模型由条件概率P(Y | X)表示

1.2.2 策略

从假设空间中选取最优模型

（1） 损失函数（代价函数）与风险函数

代价函数是预测值与实际值相比的错误程度

（2） 经验风险最小化ERM和结构风险最小化SRM

经验风险最小化ERM：经验风险最小的模型是最优模型

结构风险最小化SRM：防止过拟合，增加罚项

1.2.3 算法

1.3 模型评估与模型选择

1.3.1 过拟合

随着模型复杂度增加，训练误差逐渐减小，测试误差先减小后增大

 1.3.2 正则化与交叉验证

（1） 正则化（结构风险最小化）

（2） 交叉验证：将模型分为训练集、验证集、测试集，并重复使用切分

•  简单交叉验证：随机分为两部分（训练集、测试集）
• S折交叉验证
• 留一交叉验证

1.3.3 泛化能力

泛化能力指所用的模型对预测新数据的能力

泛化误差

1.4 具体问题

1.4.1 分类问题

分类准确率：分类器正确分类数与总样本数之比

1.4.2 标注问题

标注问题的输入为观测序列，输出为标记序列或状态序列