周志华西瓜书笔记 2.1 经验误差与过拟合

2.1 经验误差与过拟合

错误率(error rate) : 分类错误的样本数占样本总数的比例称, 若在 $m$ 个样本中有 $a$ 个样本分类错误, 则错误率 $E=a/m$;
精度(accuracy) : 精度 = 1 - 错误率
误差(error) : 学习器的实际预测输出与样本的真实输出之间的差异, 学习器在训练集上的误差称为 “训练误差”(training error)或 “经验误差”(empirical error), 在新样本上的误差称为 “泛化误差”(generalization error).

  为了得到在新样本上能表现得很好的学习器, 应该从训练样本中尽可能学出适用于所有潜在样本的 “普遍规律”, 这样才能在遇到新样本时做出正确的判别.

“过拟合”(overfitting) : 学习器把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质, 导致泛化性能下降的现象.
“欠拟合”(underfitting) : 指学习器对训练样本的一般性质尚未学好.

  导致过拟合最常见的情况是由于学习能力过于强大, 以至于把训练样本所包含的不太一般的特性都学到了, 而欠拟合通常是由于学习能力低下而造成的.
欠拟合比较容易克服: 在决策树学习中扩展分支、在神经网络学习中增加训练轮数等.
过拟合很麻烦, 是机器学习面临的关键障碍, 是无法彻底避免的, 只能 “缓解”, 或者说减小其风险.

  机器学习中的 “模型选择”(model selection) 问题, 理想的解决方案是对候选模型的泛化误差进行评估, 然后选择泛化误差最小的那个模型.