训练集、验证集、测试集
训练集(training)
验证集(validation)
测试集(test)
我们现在需要三组数据集:实际训练算法的训练集、用于跟踪其学习效果的验证集,以及用于产生最终结果的测试集。这在数据上变得越来越昂贵,特别是对于监督学习,必须附加目标值(甚至对于无监督学习,验证和测试集也需要目标,以便有比较的对象),并且并不总是容易获得准确的标记(这可能是你想要了解数据的原因)。半监督学习领域试图满足对大量标记数据的这种需求,有关参考资料请见本章中的拓展阅读小节。
《机器学习:算法视角(原书第2版)》 —2.2.2 训练集、测试集和验证集
总误差与学习算法无关
真正例TP、假正例FP、假反例FN、真反例TN、查准率P、查全率R
调和平均
ROC曲线
AUC
偏差、方差、噪声
链接:
来自:西瓜书 南瓜书 datawhale