深度学习评估方法--留出法、交叉验证法、自助法

目录

1、评估方法：

1.1 留出法（hold-out）

1.2 交叉验证法（cross validation）

1.2.1 “k折交叉验证”（k-fold cross validation）

1.2.2 留一法（Leave-one-out，简称LOO）

1.3 自助法

---

1、评估方法：

测试集要尽可能地与训练集互斥，即测试样本尽量不在训练集中出现，未在训练过程中出现过。

测试集和训练集为什么要互斥呢？

类比：

训练集~模拟试卷，测试集~正式考试试卷。

这俩要有题一样的那肯定会影响测试结果。

1.1 留出法（hold-out）

留出法是直接将数据集D划分为两个互斥的集合，其中一个作为训练集S，另一个作为测试集T。

值得注意的是：

训练/测试集的划分要尽可能的保持数据分布的一致性，避免因数据划分过程引入额外的偏差而对最终结果产生影响。常用采样方式为“分层采样”。

例如：

数据集D：1000，训练集：700，测试集：300.

若数据集D包含500正例，500反例。

那么采样结果是训练集得有350正例，350反例，测试集有150正例150反例。

类比：

训练集~模拟试卷，测试集~正式考试试卷。

模拟卷和测试卷考题的类型得分布一样，不然训练就达不到效果。

单次使用留出法得到的估计结果往往不够稳定可靠，在使用留出法时，一般要采用若干次随机划分、重复进行实验评估后取平均值作为留出法的评估结果。

1.2 交叉验证法（cross validation）

1.2.1 “k折交叉验证”（k-fold cross validation）

就是将数据集D划分为k个大小相似、分层采样的互斥子集。

1.2.2 留一法（Leave-one-out，简称LOO）

留一法：k折交叉检验中数据集D中包含m个样本，k=m，留一法不受划分方式的印象，每一个样本都是一个子集。

优点：评估结果往往被认为是比较准确的

缺点：数据集比较大的时候，训练m个模型的计算开销难以承受。

1.3 自助法

假设数据集D有m个样本，通过抽取放回的方式从数据集D中抽取m个样本。这抽取出的m个样本就是D’，当然D中数据集肯定有部分样本从来没被抽到过，那么没被抽到过的这些数据集就能用作测试集D \ D'，训练集为D'。

（注：\ 表示的是集合减法）

没被抽到的数据可以做个简单的估计：

也就是说有1/3的数据会抽不到。

优点：自助法在数据集小、难以有效划分训练/测试集时很有用。 

缺点：自助法产生的数据改变了初始数据集的分布，这会引入估计偏差。