python随机划分数据集五份_深度学习数据集划分及偏差、方差

训练、验证(开发)、测试集

我们通常会将我们的数据划分为以下几部分：

一部分作为训练集(training set )，一部分作为简单交叉验证集(hold-out cross validation set )有时也称为开发集(development set )，最后一部分作为测试集(test set )。 我们通过训练集训练我们的模型，然后通过验证集对我们的模型进行调优，最后通过测试集对我们调整好的模型进行无偏测试。在数据量较小(100-10000 )的情况下，一般进行7/3 划分或6/2/2 划分，即70% 训练集30% 测试集或者60% 训练集20% 验证集20% 测试集。当数据量增大时，我们可以逐步缩小验证集与测试集的规模，因为我们不需要过多数据就能对我们的模型性能进行评估。 有时我们的训练集和验证、测试集来自于不同的数据集，这时我们务必保证， 验证集和训练集必须来自同一数据集，有同一分布。因为我们优化方向是用验证集调整的，我们的优化目标是测试集指定的&#x