交叉验证法和自助法的异同

简介

在机器学习中，我们使用随机采样方法，从数据集D划分训练集和测试（验证）集进行模型的选择，也就是人工智能中模型评估常用的三种方法：留出法、交叉验证法和自助法（其中留出法也叫简单的交叉验证法）。

本文则针对其中交叉验证法和自助法的异同进行探讨。

ps：本文主要为个人查询网络资料的总结，便于后续的学习过程，如有不妥，敬请指教。

交叉验证法

采用无放回的随机采样方式，从数据集D中抽出部分数据作为训练集T，另外一部分作为测试集T'，并重复若干次随即划分过程，以每次划分对应的测试评估的均值作为评估结果（交叉便体现在重复若干次随机划分过程中两个数据集间数据的交叉）。

自助法

采用有放回的随机抽样方法，在保持训练集T与数据集D规模一致的条件下，从数据集D中抽出有重复的数据作为训练集T，剩下没有被抽中的数据作为测试集T'。

回答

相同点：

交叉验证法和自助法都是随机采样法。它们作为人工智能中评估模型的方法，根据一定规则从数据集D中划分训练集和测试（验证）集，从而评价模型在数据集上的表现，便于我们选择合适的模型。

不同点：

正如上面所述，这两种方法最大的不同点在于每次划分过程中每个样本点是否只有一次被划入训练集或测试集的机会。下面将针对这方面详细展开论述：

交叉验证法采用的是无放回的随机采样方式，这种方式可以保持数据分布的一致性条件，并严格划分训练集与测试集的界限，从而增强测试评估的稳定性和可靠性。

自助法主要面向数据集同规模的划分问题。其采用的是有放回的随机抽样方法，可以使得得到的模型更为稳健，解决了交叉验证法中模型选择阶段和最终模型训练阶段的训练集规模差异问题；但训练集T和原始数据集D中数据的分布未必相一致，因此对一些对数据分布敏感的模型选择并不适用。

参考：

从k折到自助法：常用交叉验证方法的优缺点-阿里云开发者社区 (aliyun.com)

人工智能之模型评估的三种方法：留出法，交叉验证，自助法 - 哔哩哔哩 (bilibili.com)

交叉验证、留一交叉验证、自助法 - 简书 (jianshu.com)

数据挖掘(ISL)| 05-重抽样: 交叉验证与自助法 - 知乎 (zhihu.com)