机器篇——决策树(六) 细说 评估指标的交叉验证

本小节，细说 评估指标的交叉验证。
 

三. 评估指标
3. 交叉验证(cross validation)
     (1). 概念
       交叉验证(cross validation, cv) 主要用于模型训练或建模应用中，如分类预测、PCR、PLS 回归建模等。在给定的样本空间中，拿出大部分样本的模型进行预测，并求这小部分样本的预测误差或预测精度，同时记录它们的加和平均值。这个过程迭代 k
�
 次，即 k
�
 折交叉。其中，把每个样本的预测误差平凡加和，称为 PRESS(Predicted Error Sum Of Squares)。

     (2). 目的
       ①. 用交叉验证的母的是为了得到可靠稳定的模型。在分类，建立 PC 或 PLS 模型时，一个很重要的因素是取多少个主成分的问题。用 cv 校验每个主成分下的 PRESS 值，选择 PRESS 值小的主成分数。或 PRESS 值不再变小时的主要分数。

       ②. 常用的精度测试方法主要是交叉验证，例如 10 折交叉验证(10-fold cross validation, 10-cv)，将数据分成 10 份，轮流将其中 9 份做训练，1 份做验证，10 次的结果的均值作为对算法精度的估计，一般还需要进行多次 10-cv 求均值，例如：10 次 10-cv，以求更精确一点。

       ③. 交叉验证有时也称为交叉比对，如：10 折交叉比对。

     (3). 常见的交叉验证方式
       ①. Holdout 验证(留出法验证)

        a. 方法：