『机器学习』评估方法

1、留出法（hold out）：将数据集 D 划分为训练集 S 和测试集 T

2、留一法：留一法是留出法的特例，即每次测试集 T 只留一个数据，剩下的作为训练集 S

备注：在分类任务中，在划分数据集时，训练集 S 和测试集 T 中的类别比例要跟数据集 D 中的类别比例相似。

备注的疑问：那么在划分样本类别不均衡的样本时，是否仍要遵守这样的准则？？

3、K折交叉验证（k-fold cross validation）：每次将数据划分 k 份，其中一份作为测试集 T，剩下的作为训练集 S；重复以上过程 k 次，特别地每次用作测试集 T 的都是各不相同的

备注：每份数据（数据子集）都尽可能保持数据分布的一致性，即从 D 中通过分层采样得到

4、自助法（bootstrapping）：每次从数据集 D 中有放回地采一个样本，并将这个样本放入训练集 S 中，共重复 m 次，此时训练集共有 m 个样本，而测试集 T 则为 D - S（此处的减法为集合减法）

测试集 T 的个数约为总量的三分之一（由公式得到），也被称为“包外估计”（out-of-bag estimate）

自助法在样本量较少、难以有效划分训练集和测试集时很有用，而留出法和k折交叉验证在样本量较多时更常用