原文链接: http://chenhao.space/post/ef3b1e7d.html
深度学习模型的参数分为普通参数和超参数:
普通参数:在模型训练的过程中可以被梯度下降所更新的,也就是训练集所更新的参数。
超参数:比如网络层数、网络节点数、迭代次数、学习率等等,这些参数不在梯度下降的更新范围内。超参数的设置一般是人工根据验证集来调。
训练集的作用就是通过梯度下降来调整模型的内部普通参数。
验证集的作用是在每个epoch完成后,用来测试一下当前模型的准确率,并根据验证集的准确率调整模型的超参数,如迭代次数、学习率等;在每一步训练之后,计算验证集的分类精度。一旦验证集的分类精度达到饱和,就停止训练。这种策略叫做提前终止(early stopping)。
测试集是用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择的依据。
参考资料: