评估机器学习模型

输入数据点是机器学习的三要素之一，不能训练模型的相同数据上对模型进行评估，原因显而易见，那就是模型在训练数据上的性能始终在提升，但是在前所未有的数据上性能不再变化或者开始下降，这即是模型开始过拟合，而机器学习的目的就是得到可以泛化的模型，即在前所未见的数据上也表现得很好的模型，所以要评估机器学习模型，衡量模型的泛化能力。

评估模型的重点在将数据划分为三个集合：训练集、验证集和测试集。

在训练数据上训练模型，在验证数据上评估模型，一旦找到最佳参数，就在测试数据上最后测试模型。

在可用数据较少的情况下，也可用其他方法，如简单的留出验证、K折验证以及带有打乱数据的重复K折验证。

此外，还要注意数据代表性、时间箭头、数据冗余等问题。