集成学习之Blending
简要记录学习
一、Blending是什么?
Blending基本思想为构造两层模型,具体构建流程如下:数据划分为训练集、验证集和测试集;选择多个模型作为第一层模型,在训练集进行训练;第一层模型在验证集进行预测,将预测结果作为特征,在验证集构建第二层模型进行训练;第一层模型加第二层模型为最终模型,在测试集检验精度。
二、与单一模型对比
1.决策边界
以iris数据集为例,为方便可视化。特征取前两个,类别取前两类。第一层模型为决策树、支持向量机和KNN;第二层模型为随机森林。模型在验证集表现如下,左图为决策树,右图为为Blending模型:
可见,Blending模型具有更加复杂的决策边界,但是这个验证集相当于Blending的训练集,倒也不好说精度提升了没有,模型好坏还需要在测试集进一步评估。
2.精度对比
这里采用完整的数据集和标签进行测试,结果如下: