模型评估方法

模型评估方法

Validation Methods for Machine Learning Methods.
tags: 机器学习

通常需要通过实验测试对模型的泛化误差,时间开销,存储开销,可解释性等进行评估，并进一步对模型类型,模型结构,超参数等做出选择。不能用训练集(training dataset)进行评估，因为经过足够的训练，模型在训练集上的表现一定会过拟合；也不能用测试集(test dataset)进行评估，因为需要防止数据窥探导致测试集的信息泄露。实践中通常进一步把训练集划分成一个训练集和一个验证集(validation dataset)，使用验证集进行验证。

首先把训练集 D \mathcal{D}