深度学习/机器学习之训练集、验证集和测试集(validation set)的意义

在训练模型的过程中，数据预计可以划分为训练集(train)、验证集(validation)和测试集(test)

实际应用中，一般只将数据集分成两类，即training set 和test set，大多数文章并不涉及validation set。

 

验证集的作用

training set是用来训练模型或确定模型参数的，如ANN中权值等；

validation set是用来做模型选择（model selection），即做模型的最终优化及确定的，如ANN的结构；

test set则纯粹是为了测试已经训练好的模型的推广能力

 

验证集的主要作用是 调整模型的超参数，验证不同算法，检验哪种算法更有效

对学习出来的模型，调整分类器的参数，如在神经网络中选择隐藏单元数。验证集还用来确定网络结构或者控制模型复杂程度的参数。

 

从狭义来讲，验证集没有参与梯度下降的过程，也就是说是没有经过训练的；但从广义上来看，验证集却参与了一个“人工调参”的过程，我们根据验证集的结果调节了迭代数、调节了学习率等等，使得结果在验证集上最优