在写代码时,数据集的划分时常影响我们的准确率,好的数据集划分一般分为训练集(training set),验证集(development set/validation set)和测试集(test set)。
- 训练集:用于模型拟合的数据样本,即用于训练的样本集合,主要用来训练神经网络中的参数,
- 验证集:模型训练过程中单独留出的样本集,它可以用于调整模型的超参数和用于对模型的能力进行初步评估。
- 测试集:用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。
P1:训练集的作用
拟合模型,调整网络权重。
P2:验证集的作用
作用1:快速调参,也就是通过验证集我们可以选择超参数(网络层数、网络节点数、迭代次数epoch、学习率learning rate、优化器)等,如果把测试集当验证集,调参去拟合测试集,是不可行地,这相当于作弊。
作用3:监控模型训练过程,是否需要停止,是否欠拟合,是否学习到走火入魔(过拟合)
验证集的重要性:
如果没有设置验证集,我们通常得等到测试集才可以知道我们模型真正得实力,然后再来调整参数,这样时间代价较高,通过验证集我们可以训练几个epoch后查看模型的训练效果及我们的网络是否出现异常,然后决定怎么调整我们的超参数。
P3:测试集的作用
仅仅用来评估模最终模型的泛化能力,确认网络的实际预测能力。
个人对数据集的理解:
- 训练集------------作业;学生根据数据来掌握知识。
- 验证集------------小考;初步验证学习成果,纠正学习方法(超参数)。
- 测试集------------高考;验证泛化能力。
网络的步骤:
Step1:训练普通参数。
在训练集(给定超参数)上利用学习算法,训练普通参数,使得模型在训练集上的误差降低到可接受的程度。
Step2:训练超参数。
在验证集上验证网络的generalization error(泛化能力),并根据模型性能对超参数进行调整,同时也可以判断模型是否过拟合。
Step3:重复1和2两个步骤,直至网络在验证集上取得较低的generalization error。此时完整的训练过程结束。在完成参数和超参数的训练后,在测试集上测试网络的性能。