本文探讨了在深度学习时代，开发集和测试集的大小分配。传统上，数据通常按70/30或60/20/20比例划分，但在大规模数据集情况下，更常见的是将98%作为训练集，1%作为开发集，1%作为测试集。测试集的主要目标是评估系统性能，其大小应足以提供高置信度的评估。在某些情况下，如果开发集足够大，甚至可以省略独立的测试集。
标题开发集和测试集的大小（Size of dev and test sets）
在上一个笔记中你们知道了你的开发集和测试集为什么必须来自同一分布，但它们规模应该多大？在深度学习时代，设立开发集和测试集的方针也在变化，我们来看看一些最佳做法。
你可能听说过一条经验法则，在机器学习中，把你取得的全部数据用70/30比例分成训练集和测试集。
或者如果你必须设立训练集、开发集和测试集，你会这么分60%训练集，20%开发集，20%测试集。
在机器学习的早期，这样分是相当合理的，特别是以前的数据集大小要小得多。所以如果你总共有100个样本，这样70/30或者60/20/20分的经验法则是相当合理的。如果你有几千个样本或者有一万个样本，这些做法也还是合理的。
但在现代机器学习中，我们更习惯操作规模大得多的数据集，比如说你有1百万个训练样本，这样分可能更合理，98%作为训练集，1%开发集，1%测试集，我们用D和T缩写来表示开发集和测试集。
因为如果你有1百万个样本，那么1%就是10,000个样本，这对于开发集和测试集来说可能已经够了。所以在现代深度学习时代，有时我们拥有大得多的数据集，所以使用小于20%的比例或者小于30%比例的数据作为开发集和测试集也是合理的。
而且因为深
最低0.47元/天 解锁文章
扫一扫
1960
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
