训练集、验证集和测试集的概念及划分原则

深度学习中,常将可得的数据集划分为训练集(training set),验证集(development set/validation set)和测试集(test set).下文主要回答以下几个问题:一是为什么要将数据集划分为如上三个集合,三个集合之间有什么区别;二是我们划分的原则是什么.

1. 训练集、验证集和测试集的概念

• 训练集:顾名思义指的是用于训练的样本集合,主要用来训练神经网络中的参数.

• 验证集:从字面意思理解即为用于验证模型性能的样本集合.不同神经网络在训练集上训练结束后,通过验证集来比较判断各个模型的性能.这里的不同模型主要是指对应不同超参数的神经网络,也可以指完全不同结构的神经网络.

• 测试集:对于训练完成的神经网络,测试集用于客观的评价神经网络的性能.

那么,训练集、验证集和测试集之间又有什么区别呢?一般而言,训练集与后两者之间较易分辨,验证集和测试集之间的概念较易混淆.个人是从下面的角度来理解的:

• 神经网络在网络结构确定的情况下,有两部分影响模型最终的性能,一是普通参数(比如权重w和偏置b),另一个是超参数(例如学习率,网络层数).普通参数我们在训练集上进行训练,超参数我们一般人工指定(比较不同超参数的模型在验证集上的性能).那为什么我们不像普通参数一样在训练集上训练超参数呢?(花书给出了解答)一是超参数一般难以优化(无法像普通参数一样通过梯度下降的方式进行优化).二是超参数很多时候不适合在训练集上进行训练,例如,如果在训练集上训练能控制模型容量的超参数,这些超参数总会被训练成使得模型容量最大的参数(因为模型容量越大,训练误差越小),所以训练集上训练超参数的结果就是模型绝对过拟合.

• 正因为超参数无法在训练集上进行训练,因此我们单独设立了一个验证集,用于选择(