训练集、验证集和测试集
所以说,训练集是用来fit你的model的;验证集是来tune你的model的;测试集是来deploy你的model的。题主问能不能不要验证集,我认为可以不要,但是前提是你默认了在训练集上fit的模型非常好,你没有做任何的调参,训练好的模型拿来直接用。
- 在机器学习中,我们通常将样本分成训练集,验证集和测试集三部分,且理想情况下,三者满足独立同分布。
- 数据集规模相对较小,适用传统的划分比例:7 3或6 2 2。
- 数据集规模较大的,验证集和测试集要小于数据总量的20% 或 10%。
- 训练集主要为了训练模型。
- 验证集是为了检验哪种算法更有效,评估并选择出合适的模型。
- 测试集是对最终所选定的神经网络系统做出无偏估计。如果不需要无偏估计,那没有测试集也行。
- 如果只有一个训练集和一个验证集,而没有独立的测试集,训练集依旧是训练集,而验证集则被称为测试集。