本文介绍了机器学习中训练集、验证集和测试集的概念及其作用。训练集用于估计模型，验证集用于调整模型参数，如神经网络的隐藏单元数，而测试集则用于检验模型的泛化能力。划分数据集的目的是防止过拟合，并确保模型在未见过的数据上的表现。通常，训练集占50%，验证集和测试集各占25%，但在样本量小的情况下，可以使用K折交叉验证法进行模型选择。
训练集、验证集和测试集这三个名词在机器学习领域极其常见，但很多人并不是特别清楚，尤其是后两个经常被人混用。
在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set)，验证集(validation set)，测试集(test set)。
Ripley, B.D（1996）在他的经典专著Pattern Recognition and Neural Networks中给出了这三个词的定义。
- Training set: A set of examples used for learning, which is to fit the parameters [i.e., weights] of the classifier.
- Validation set: A set of examples used to tune the parameters [i.e., architecture, not weights] of a classifier, for example to choose the number of hidden units in a neural network.
- Test set: A set of examples u
最低0.47元/天 解锁文章
4932
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
