前言
对深度学习中的相关概念一直含糊不清,尤其是验证集和测试集,一直感觉差不多,查阅相关资料后,有了较深的理解,在此记录,方便之后在查看或者补充。
参数和超参数
- 参数:指模型可以根据数据可以自动学习出的变量,如深度学习的权重,偏差等。
- 超参数:人工根据经验给定用来确定模型的一些参数,不同的超参数对应不同的模型。深度学习中,超参数有:学习速率,迭代次数,网络层数,每层神经元的个数等。
训练集、验证集、测试集的作用
- 训练集用来调试神经网络
- 验证集用来查看训练效果
- 测试集用来测试网络的实际学习能力
- 训练集很好理解,就是用来训练模型的数据,参与调节网络的参数和参数权重的更新。
比较容易混淆的是验证集和测试集。
- 验证集用于评估模型和超参数调整,是在训练过程中就要使用的。比如训练了几个epoch之后,可以观察模型在验证集上的表现,可以监控模型是否发生过拟合现象。如果训练集准确率一直上升,验证集不升反降,那么我们认定此模型发生过拟合,那么我们可以借此选择停止训练的时间点,同时此时可以调整模型上的超参数继续训练,避免先前出现的问题。这就可以在训练中及时做出调整,而不用等整个模型训练结束,注意只是作为依据,并不直接参与模型参数的改变。相当于是及时止损。
- 测试集是用来评估模型的最终泛化能力,也就是模型已经训练出来了,再不改动了,此时就用测试集去测试,因此测试集不能作为调参、选择特征等算法相关的选择的依据。
同时,如果对模型做出了改动,要用模型在验证集上的表现来衡量改动是否是好的,同时尽可能保证验证集与测试集的数据分布是相同的,其实就相当于用验证集近似测试集。
博客https://zhuanlan.zhihu.com/p/113296640中进行了一个很形象的比喻:
- 训练集-----------学生的课本;学生根据课本里的内容来掌握知识。
- 验证集-----------作业;通过作业可以知道不同学生学习情况、进步的速度快慢。
- 测试集-----------考试;考的题是平常都没有见过,考察学生举一反三的能力。
- 训练集直接参与了模型调参的过程,显然不能用来反映模型真实的能力(防止课本死记硬背的学生拥有最好的成绩,即防止过拟合)。
- 验证集参与了人工调参(超参数)的过程,也不能用来最终评判一个模型(刷题库的学生不能算是学习好的学生)。
- 因此通过最终的考试(测试集)来考察一个学(模)生(型)真正的能力(期末考试)
数据集的划分
一般训练集、验证集和测试集的划分比例是 6 :2 : 2。当然也可以没有验证集。
参考资料
[1] https://zhuanlan.zhihu.com/p/113296640
[2] https://www.zhihu.com/question/67088399