Datawhale集成学习 Task12 Blending集成学习算法

Blending的意思是“混合”，其作为算法也非常好理解，即将多种结果混合在一起。具体来说呢，Blending是Stacking的基础，分为两层，第二层以第一层的predict为数据进行预测。对于一般的blending，主要思路是把原始的训练集先分成两部分，比如70%的数据作为训练集，剩下30%的数据作为测试集。第一轮训练: 我们在这70%的数据上训练多个模型，然后去预测那30%测试数据的label。第二轮训练，我们就直接用第一轮训练的模型在这30%数据上的预测结果做为新特征继续训练。

一个最重要的优点就是实现简单粗暴，没有太多的理论的分析。但是这个方法的缺点也是显然的：blending
只使用了一部分数据集作为留出集进行验证，也就是只能用上数据中的一部分，实际上这对数据来说是很奢侈浪
费的。