机器学习 数据集划分 训练集 验证集 测试集

版权声明：本文为博主原创文章，转载请注明转自 Scofield's blog[http://blog.csdn.net/scotfield_msn] https://blog.csdn.net/Scotfield_msn/article/details/69945350

机器学习数据挖掘之数据集划分： 训练集 验证集 测试集

 

Q：将数据集划分为测试数据集和训练数据集的常用套路是什么呢？

A：three ways shown as follow:


1.像sklearn一样，提供一个将数据集切分成训练集和测试集的函数：
默认是把数据集的75%作为训练集，把数据集的25%作为测试集。


2.交叉验证（一般取十折交叉验证：10-fold cross validation）
k个子集，每个子集均做一次测试集，其余的作为训练集。
交叉验证重复k次，每次选择一个子集作为测试集，并将k次的平均交叉验证识别正确率作为结果。



3.训练数据，验证数据（注意区别交叉验证数据集），测试数据（在Coursera上提到）
一般做预测分析时，会将数据分为两大部分。一部分是训练数据，用于构建模型，一部分是测试数据，用于检验模型。但是，有时候模型的构建过程中也需要检验模型，辅助模型构建，所以会将训练数据在分为两个部分：1）训练数据；2）