（《机器学习》完整版系列）第2章 模型评估与选择 ——2.1误差，还是有误差

2.1 误差

预测有误差，这是必然的，减少误差才是我们努力的方向。

在第1章我们知道，模型是基于已知样本集（经验$D$）进行训练的，并用于预测非已知样本（即将结论泛化到非经验场景）。 模型在这两种场景下的误差，分别称为经验误差和泛化误差。 如图1所示。

图1 经验误差与泛化误差

然而，经验误差并不能很好地反应泛化误差，有时经验误差很小，泛化误差很大。 模型可视为对实际的“拟合”，而“拟合”过程是基于训练集来完成的，相对于实际情况就存在“欠”和“过”这两个不好的极端，【西瓜书图2.1】以直观的方式讲清了过拟合和欠拟合这两个非常重要的概念。 人类大脑也有这两种情况，“死记硬背”不会变通就是“过拟合”，“盲人摸象”、“以偏概全”及经验不足则是“欠拟合”。

因此，经验误差不能作为模型（“产品”）质量的度量指标，而应该由泛化误差来度量，然而获取泛化误差已是用户使用后的事了（数据工程师并不掌握$\mathcal{X}\setminus D$），有没有可能在“产品”出厂前就判断一下产品质量？数据工程师将自己掌握的数据$D$一分为二（训练集$S$和测试集$T$），以测试集上的误差（测试误差）来评价模型质量，即将测试误差近似地视为泛化误差。 如图2 所示。

图2 以测试误差代表泛化误差

如何将数据集$D$一分为二呢？这也是一个技术活，【西瓜书pp.25-27】讲了留一法、交叉验证法和自助法等。 细节自不必重复，但这里再强调一下采样的问题（根据笔者的经验，这个问题在实践中常常被有意或无意地忽视）：（1）$D$的数据分布应尽量保持与$\mathcal{X}$一致（这常常作为假设前提）；（2）$S$与$T$尽量保持与$D$一致的数据分布，这是通过合理的采样来实现，如，“分层采样”和“有放回采样”。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：1-5 没有免费的午餐（NFL）的证明
下一篇：2.2 如何选个好模型？