数据集划分为训练集和测试集的几种常见做法

在训练过程中，我们往往需要将数据集D划分为训练集S和测试集T。在阅读了周志华老师的《机器学习》后，下面将介绍几种常见的做法：

1.留出法

直接将数据集D划分为两个互斥的的集合，其中一个集合作为训练集S，另一个作为测试集T，即D=S∪T, S ∩ T = 空集。

2.交叉验证法

将数据集D划分为k个大小相似的互斥子集，即D=D1∪D2∪…∪Dk，Di ∩ Dj = 空集（i ≠j） 每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集；这样就可获得k组训练/测试集，从而可进行k次训练和测试，最终返回的是这k个测试结果的均值。

3.自助法

给定包含m个样本的数据集D，我们对它进行采样产生数据集D':每次从D中挑选一个样本，将其放入D'，然后再将该样本放回初始数据集D中；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D'.