数据挖掘学习日记2·训练集 验证集 测试集 预测集

在机器学习中，会对数据集进行划分，有监督学习和无监督学习的划分方式不同。

有监督学习中，数据集被划分为训练集、验证集和测试集。

无监督学习中，数据集被划分为训练集、测试集和预测集。

有监督学习

在有监督学习中，数据集被划分为训练集(training set)、验证集(validation set)和测试集(test set)。三者的比例常为50:25:25。

在传统机器学习中，若无需对模型做过多调整就能拟合，只需将数据集分为训练集和测试集两部分即可。两部分的划分比例常为7:3或8:2，根据训练策略而定。

训练集：估计模型

验证集：确定网络结构或者控制模型复杂程度的参数

测试集：检验最终选择最优的模型的性能如何

参考：AI---训练集(train set) 验证集(validation set) 测试集(test set)

无监督学习

在无监督学习中，数据集被划分为训练集(training set)、测试集(training test set)和预测集(prediction set)。

训练集：拟合模型

测试集：进行模型评价与模型修正。如有必要，可以人工打标签。

预测集：使用模型进行预测