【机器学习】Stacking与K折交叉验证

其他机器学习系列文章见于专题：机器学习进阶之路——学习笔记整理，欢迎大家关注。

1. Stacking定义

  Stacking并不是简单地对个体学习器的结果做简单逻辑处理，而是先从初始数据集训练出初级学习器，将初级学习器的输出当成特征，初始样本的标记仍被当作标记，由此生成一个新数据集用于训练学习器。

Stacking结构图

2. Stacking原理

  假设我们有两个初级学习器$Model1$，$Model2$。

  （1）对初级学习器$Model1$，利用训练集$D$进行训练，然后用训练好的$Model1$预测训练集$D$和测试集$T$的标签列，结果分别为$P1$、$T1$。

  （2）对初级学习器$Model2$，重复步骤（1），得到预测标签结果$P2$、$T2$。

  （3）将两个初级学习器的结果合并，得到次级学习器$Model3$的训练集$P3=(P1,P2)$和测试集$T3=(T1,T2)$。也就是说，有多少个初级学习器，次级学习器的训练集和测试集就有多少列（特征）。

  （4）用$P3$训练次级学习器$Model3$，并预测$T3$，得到最终的预测结果。

3. Stacking算法描述

  输入：训练集$D$，初级学习算法${\mathfrak{L}}_1,{\mathfrak{L}}_2,...,{\mathfrak{L}}_T$，次级学习算法$\mathfrak{L}$。

  过程：

    （1）对$i=1,2,\dots ,m$，使用初级学习算法${\mathfrak{L}}_t$产生初级学习器$h_t={\mathfrak{L}}_t(D)$;

    （2）生成次级训练集：

      $D^{\prime }=\varnothing$

      $fori=1,2,\dots ,mdo$

        $fort=1,2,\dots ,Tdo$

          $z_{it}=h_t\left(x_i\right)$

        $endfor$

        $D^{\prime }=D^{\prime }\cup \left(\left(z_{i1},z_{i2},\dots ,z_{iT}\right),y_i\right)$

      $endfor$

    （3）在$D^{\prime }$上用次级学习算法$\mathfrak{L}$产生次级学习器$h^{\prime }=\mathfrak{L}\left(D^{\prime }\right)$。

  输出：$H\left(x\right)=h^{\prime }\left(h_1\left(x\right),h_2\left(x\right),\dots ,h_T\left(x\right)\right)$。

4. K折交叉验证

  但是，上述这种做法直接利用训练集训练得到的模型去预测训练集的标签，过拟合风险比较大。因此，一般通过k折交叉验证来缓解这种做法的过拟合问题。

Stacking的5折交叉验证流程图

  以5折交叉验证为例，做法如下：

  （1）原始训练集$D$被随机划分5个大小相似的子集$D_1,D_2,\dots ,D_5$，令$D_j$、${\overline{D}}_j=D\backslash D_j$分别表示第$j$折的测试集和训练集。

  （2）用$D_1$训练$Model1$，然后在$D_1$上进行预测得到$P_{11}$；用$D_2$训练$Model1$，然后在$D_2$上进行预测得到$P_{12}$，重复5次将预测得到的$P1=\left(\begin{array}{c}{P}_{11}\\ ⋮\\ P_{15}\end{array}\right)$。$P1$的训练集样本数等于原始训练集$D$中的样本数。

  （3）在每次5折交叉验证中，都利用训练好的$Model1$对整个测试集$T$进行预测，然后将5次预测结果求平均得到$T1$。

  （4）对初级学习器$Model2$，重复步骤（2）（3），得到标签预测结果$P2$、$T2$。

  （5）拼接得到次级学习器$Model3$的训练集$P3=(P1,P2)$和测试集$T3=(T1,T2)$。

  （6）用$P3$训练次级学习器$Model3$，并预测$T3$，得到最终的预测结果。

参考文献：

1. 《机器学习》第八章集成学习——周志华
2. Kaggle机器学习之模型融合（stacked）心得
3. 【机器学习】模型融合方法概述