留一法（交叉验证法，Leave-One-Out Cross Validation）

交叉验证法

这种方法比较简单易懂，就是把一个大的数据集分为k个小数据集，其中k-1个作为训练集，剩下的一个作为测试集，然后选择下一个作为测试集，剩下的k-1个作为训练集，以此类推。这其中，k的取值就比较重要，在书中提到一般取10作为k的值（具体原因 不太清楚）。这种方法也被叫做‘k折交叉验证法（k-fold cross validation）’。最终的结果是这10次验证的均值。此外，还有一种交叉验证方法就是留一法（Leave-One-Out，简称LOO），顾名思义，就是使k等于数据集中数据的个数，每次只使用一个作为测试集，剩下的全部作为训练集，这种方法得出的结果与训练整个测试集的期望值最为接近，但是成本过于庞大。