西瓜书学习笔记 第二章

2.1 经验误差与过拟合

m个样本中有a个样本分类错误

错误率（error rate）： E = a/m

精度（accuracy）= 1 - 错误率 = 1 - E = 1 - a/m

误差（误差期望）：学习器的预测输出与样本的真实输出的差异；

训练误差（training error）或经验误差（empirical error）:学习器在训练集上的误差；

泛化误差（generalization error）:学习器在新样本上的误差。

泛化性能

过拟合（overfitting）：学习的太好将训练样本中不太一般（普适）的特性都学到了。过拟合是机器学习面临的关键障碍

欠拟合（underfitting）：学习能力太低，没有学好

2.2 模型评估方法（如何做模型选择）

假设测试样本是从真是分布中独立同分布采样而得。

使用测试集（testing set）来测试学习器对新样本的判别能力。用测试误差(testing error)作为泛化误差的近似。

Note:测试集应该尽可能与训练集互斥，即测试样本尽量不在训练集中出现且未在训练过程中使用过。

如何对数据集进行分割使得测试集和训练集互斥呢？

设数据集D包含m个样例：D = {(x1, y1), (x2, y2), …, (xm, ym)} 其中xi是向量表示第i个样例所包含的特征，yi是标量是真实分布中的结果对于分类问题是类别，对于回归问题是值。

对D做适当分割处理从中产生出训练集S和测试集T

适当的处理方法（分割方法）有：

• 留出法（hold-out）
• 交叉验证法（cross validation）
• 自助法（bootstrapping）：在数据集较小、难以有效划分训练/测试集时很有用。对集成学习等方法有很大好处

2.2.4 调参与最终模型

2.3 性能度量（模型泛化能力评价）从另一个角度对比模型

性能度量（performance measure）是衡量模型泛化能力的评价标准。

回归任务通常使用均方误差(mean squared error)

2.3.1 错误率与精度

错误率：衡量了有多少比例的瓜被判别错误

2.3.2 查准率(准确率，percision)、查全率(召回率，recall)、F1

“挑出的西瓜中有多少比例是好瓜”或“所有好瓜中有多少比例被挑了出来”

查准率P：预测正例中真实正例占用的比例，挑出的西瓜中有多少比例是好瓜。

P = 预测命中真实正例/预测正例

召回率R：所有好瓜中有多少比例被挑了出来。

R = 预测命中真实正例/真实正例

F1 = (2 x P x R)/(P + R)

$F_b=\frac{(1+b^2)\ast P\ast R}{(b^2\ast P)+R}$, 其中 b > 0

• 当b > 1时，查全率有更大的影响
• 当b < 1时，查准率有更大的影响

2.4 比较检验

统计假设检验(hypothesis test)为我们进行学习器性能比较提供了重要依据。基于假设检验结果我们可推断出，若在测试集上观察到学习器A比B好，则A的泛化性能是否在统计意义上优于B，以及这个结论的把握有多大。

本节以错误率e作为性能度量的指标

• 假设检验
• 交叉验证t检验
• McNemar检验
• Friedman检验与Nemenyi后续检验

2.5 偏差与方差（模型“为什么”具有这样的泛化性能）

偏差-方差分解(bias-variance decomposition)是解释学习算法泛化性能的一种工具。其说明泛化性能是由：

• 学习算法的能力
• 数据的充分性
• 学习任务本身的难度

所共同决定的。

泛化误差 = 偏差 + 方差 + 噪声

• 偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻划了学习算法本身的拟合能力
• 方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻划了数据扰动所造成的影响
• 噪声：表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻划了学习问题本身的难度。