输入数据点是机器学习的三要素之一,不能训练模型的相同数据上对模型进行评估,原因显而易见,那就是模型在训练数据上的性能始终在提升,但是在前所未有的数据上性能不再变化或者开始下降,这即是模型开始过拟合,而机器学习的目的就是得到可以泛化的模型,即在前所未见的数据上也表现得很好的模型,所以要评估机器学习模型,衡量模型的泛化能力。
评估模型的重点在将数据划分为三个集合:训练集、验证集和测试集。
在训练数据上训练模型,在验证数据上评估模型,一旦找到最佳参数,就在测试数据上最后测试模型。
在可用数据较少的情况下,也可用其他方法,如简单的留出验证、K折验证以及带有打乱数据的重复K折验证。
此外,还要注意数据代表性、时间箭头、数据冗余等问题。