深度学习数据集的正确划分

cs231n第二讲图像分类里提到的：


当你在设计机器学习算法的时候，决不能使用测试集来进行调优。如果你使用测试集来调优，算法容易对测试集过拟合。从另一个角度来说，如果使用测试集来调优，实际上就是把测试集当做训练集，由测试集训练出来的算法再跑测试集，自然性能看起来会很好。这其实是过于乐观了，实际部署起来效果就会差很多。所以，最终测试的时候再使用测试集，可以很好地近似度量你所设计的分类器的泛化性能。一般我们从训练集中取出一部分数据用来调优，我们称之为验证集（validation set）。在实际情况下，很少用交叉验证，主要是因为它会耗费较多的计算资源。一般直接把训练集按照50%-90%的比例分成训练集和验证集。