本文介绍了集成学习中的Blending方法，通过构建两层模型，使用多个第一层模型（如决策树、SVM和KNN）在验证集上预测并作为第二层模型（随机森林）的特征。在iris数据集的实验中，Blending模型的决策边界比单一模型更复杂，但在验证集上的精度提升并不明显，可能因数据集简单。对于是否能提升精度，需要在更多复杂场景下进一步研究。
集成学习之Blending
简要记录学习
一、Blending是什么？
Blending基本思想为构造两层模型，具体构建流程如下：数据划分为训练集、验证集和测试集；选择多个模型作为第一层模型，在训练集进行训练；第一层模型在验证集进行预测，将预测结果作为特征，在验证集构建第二层模型进行训练；第一层模型加第二层模型为最终模型，在测试集检验精度。
二、与单一模型对比
1.决策边界
以iris数据集为例，为方便可视化。特征取前两个，类别取前两类。第一层模型为决策树、支持向量机和KNN；第二层模型为随机森林。模型在验证集表现如下，左图为决策树，右图为为Blending模型：
可见，Blending模型具有更加复杂的决策边界，但是这个验证集相当于Blending的训练集，倒也不好说精度提升了没有，模型好坏还需要在测试集进一步评估。
2.精度对比
这里采用完整的数据集和标签进行测试，结果如下：
最低0.47元/天 解锁文章
1442
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
