机器学习：数据集划分方法

留出法 hold-out

数据集划分为两个互斥的集合：训练集和测试集。训练集占总数据集的 2/3 - 4/5
再进行划分时，采取分层采样的方式，这是为了在划分时保持数据分布一致，在分类任务中，保持样本的类别比例相似。
注意 单次使用留出法得到的结果不够可靠，一般采用若干次随即划分，重复实验后取平均值。

交叉验证法 cross-validation

k折交叉验证

数据集划分为 k (一般 k = 10)个大小相似的互斥子集，当然在划分时也要保持数据分布的一致性。
每次使用 k-1 个子集作为训练集，剩下的一个子集作为测试集。这样获得k组训练和测试集，进行k次训练测试，最后返回k次测试的平均值。

数据集的划分：留一法

与留出法相似，数据集的划分也存在多种划分方式，为减小因样本划分不同而引入的差别，k折交叉验证要采用不同的划分重复p次，最终结果是p次k折交叉验证结果的均值。

留一法 leave-one-out LOO
数据集包含m个样本，划分为 k个互斥子集，令k=m，也就是每个样本是一个子集。
我们让训练集包含m-1个样本，测试集有1个样本。

留一法不受随机样本划分的影响，数据集较大时不适用。

自助法 bootstrapping

以自主采样法为基础。

数据集D有m个样本，对它进行采样得到新的数据集D’：每次随机从D中挑选一个样本，放入D’，这个样本不会被D剔除。这样再次采样时，这个样本有可能再次取到。这个过程重复m次，就得到了包含m个样本的数据集D’。

显然，D中样本有一部分会在D’中多次出现，另一部分样本不出现。
设样本在m次采样中始终不被采到的概率为$（1-\frac{1}{m}{）}^m$，取极限得到：

$$\underset{m\to \infty }{\lim }（1-\frac{1}{m}{)}^m=\frac{1}{e}=0.368$$

通过自主采样，D中大约有36.8%的样本没有出现在D’中。

将D’作为训练集，D-D’作为测试集。实际评估的模型与期望评估的模型都使用m个训练样本，仍有1/3的样本没有出现在训练集中，作为测试集。我们把测试结果叫做包外估计（out-of-bag estimate）

适用于数据集较小，难以有效划分训练集和测试集时。自助法从初始数据集中产生多个不同的训练集，但是改变了初始数据集的分布，引入了估计偏差。数据数量足够时，选择留出或者交叉验证。