一份机器学习模型离线评估方法的详细手册

本文是《机器学习宝典》第 5 篇，读完本文你能够掌握机器学习中常用的离线阶段模型评估方法（留一法、交叉验证法、自助法）。

读完分类与回归算法的评估指标以及排序算法的评估指标之后，你已经知道了机器学习中分类、回归以及排序算法相关的评估指标。在这篇给大家介绍一些机器学习中离线评估模型性能的一些方法。

首先需要知道的是，机器学习想要能够解决业务中的问题，简单可以分为两个阶段：离线和线上（离线指的是模型未部署到生产环境之前，线上是指模型部署到生产环境之后）。在离线阶段，首先需要先训练一个模型，然后对训练好的模型进行离线评估来了解下模型的性能情况。

我们知道，模型训练的时候使用的数据集是训练集，模型在测试集上的误差近似为泛化误差，而我们更关注的就是泛化误差，所以在离线阶段我们需要解决一个问题，那就是如何将一个数据集 D 划分成训练集 S 和测试集 T ？实际上，离线评估的时候有多种方法可以实现上面的要求，这里介绍一些常用的方法。

留出法

留出法（hold-out）是指将数据集 D 划分成两份互斥的数据集，一份作为训练集 S，一份作为测试集 T，在 S 上训练模型，在 T 上评估模型效果。

留出法的优点是简单好实现，但是也会有一些明显的缺点。比如说划分后的训练集和测试集的大小会严重影响模型最终的评估结果。如果说训练集 S 比较大，测试集 T 比较小，那么评估结果的不够稳定准确，可信度较低；如果说训练集 S 比较小，测试集 T 比较大，那么得到的模型很可能与全量数据集 D 得到的模型有很大的差别，这就降低了评估结果的真实性。通常的做法是，将全量数据集的 2/3~4/5的样本作为训练集，剩余样本作为测试集。

除了划分得到的训练集 S 和测试集 T 的数据量会影响评估结果外，它们的数据分布也会影响评估结果，尽量保证训练集 S 和测试集 T 的数据分布一致，避免由于数据划分引入额外的偏差而对最终结果产生影响。 举个具体的例子来说明，有一个包含了 1500 条正样本和 1500 条负样本的数据集，现在使用二分类模型来进行自动分类，假设将 1/3 的数据作为测试集，应该使得测试集正负样本均在 500 条左右；如果测试集由 50 条正样本和 950 条负样本组成，那么评估结果将会因为样本分布差异而导致很大的偏差。

因此，考虑到单次留出法的结果往往不够稳定可靠，我们一般会进行多次留出法实验，每次随机划分，最终将多次得到的实验结论进行平均。

但是在实际工作中，如果不分场景，任何时候都是用随机划分数据集可能会导致一些其他的问题，比如说数据泄露（穿越问题）等。

交叉验证法

交叉验证法（cross validation）先将数据集 D 划分成 k 分互斥的数据子集，即 $D=D$