2.1 误差
预测有误差,这是必然的,减少误差才是我们努力的方向。
在第1章我们知道,模型是基于已知样本集(经验
D
D
D)进行训练的,并用于预测非已知样本(即将结论泛化到非经验场景)。 模型在这两种场景下的误差,分别称为经验误差和泛化误差。 如图1所示。
然而,经验误差并不能很好地反应泛化误差,有时经验误差很小,泛化误差很大。 模型可视为对实际的“拟合”,而“拟合”过程是基于训练集来完成的,相对于实际情况就存在“欠”和“过”这两个不好的极端,【西瓜书图2.1】以直观的方式讲清了过拟合和欠拟合这两个非常重要的概念。 人类大脑也有这两种情况,“死记硬背”不会变通就是“过拟合”,“盲人摸象”、“以偏概全”及经验不足则是“欠拟合”。
因此,经验误差不能作为模型(“产品”)质量的度量指标,而应该由泛化误差来度量,然而获取泛化误差已是用户使用后的事了(数据工程师并不掌握
X
∖
D
\mathcal{X}\setminus D
X∖D),有没有可能在“产品”出厂前就判断一下产品质量?数据工程师将自己掌握的数据
D
D
D一分为二(训练集
S
S
S和测试集
T
T
T),以测试集上的误差(测试误差)来评价模型质量,即将测试误差近似地视为泛化误差。 如图2 所示。
如何将数据集 D D D一分为二呢?这也是一个技术活,【西瓜书pp.25-27】讲了留一法、交叉验证法和自助法等。 细节自不必重复,但这里再强调一下采样的问题(根据笔者的经验,这个问题在实践中常常被有意或无意地忽视):(1) D D D的数据分布应尽量保持与 X \mathcal{X} X一致(这常常作为假设前提);(2) S S S与 T T T尽量保持与 D D D一致的数据分布,这是通过合理的采样来实现,如,“分层采样”和“有放回采样”。
本文为原创,您可以:
- 点赞(支持博主)
- 收藏(待以后看)
- 转发(他考研或学习,正需要)
- 评论(或讨论)
- 引用(支持原创)
- 不侵权
上一篇:1-5 没有免费的午餐(NFL)的证明
下一篇:2.2 如何选个好模型?