![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据集划分
JiaShengLiu111
平凡学生
展开
-
机器学习——训练集、验证集、测试集
为什么要将数据集分为训练集、验证集、测试集三部分?对于很多机器学习的初学者来说,这个问题常常令人很迷惑,特别是对于验证集和测试集的区别更让人摸不到头脑。下面,我谈一下这三个数据集的作用,及必要性:训练集:显然,每个模型都需要训练集,训练集的作用很明显,就是直接参与模型的训练过程。测试集:测试集完全不参与训练,就是说模型的产生过程和测试集是完全没有关系的。之所以要求测试集和模型的产生...原创 2018-08-09 22:36:32 · 2767 阅读 · 0 评论 -
机器学习——什么时候需要显式的划分出“验证集”
所谓的显式的划分出“验证集”,其实就是显式的将数据集划分为“训练集”、“验证集”、“测试集”。但是假如要使用k折交叉验证来为模型进行超参数调优而言,是不需要显式的将数据集划分出“验证集”的。 当数据集的整体比较小时,常常需要使用k折交叉验证才能更加精确的评估一个模型的性能指标(因为k折交叉验证可以解决数据分布的敏感性问题),从而为模型选择比较优的超参数。使用k折交叉验...原创 2018-08-10 15:00:40 · 2806 阅读 · 1 评论