Ensemble Learning Task 13

学习地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master/EnsembleLearning

Task 13 的主要学习内容是 Stacking集成学习算法

算法步骤

相较于blending算法，stacking的步骤如下：

1. 将训练数据进行k折交叉分割
2. 在各个基础模型上分别进行k次训练，每个基础模型得到k个预测结果
3. 每个基础模型分别对自己的k个预测值平均，得到其对训练数据的预测结果
4. 将上一层几个模型的预测结果拼接样本的真实标签，带入第二层模型进行训练
5. 最终得到stacking方法的融合预测结果

优缺点

1. 优点

   自动化的大型集成策略可以通过添加正则项有效的对抗过拟合
   并不需要太多的调参和特征选择。
   这是目前提升机器学习效果最好的方法
   使用多折交叉验证，比使用单一留出集更加稳健，数据利用率高

2. 缺点

   会有一定的数据泄露