#集成学习之Blending

本文介绍了集成学习中的Blending方法,通过构建两层模型,使用多个第一层模型(如决策树、SVM和KNN)在验证集上预测并作为第二层模型(随机森林)的特征。在iris数据集的实验中,Blending模型的决策边界比单一模型更复杂,但在验证集上的精度提升并不明显,可能因数据集简单。对于是否能提升精度,需要在更多复杂场景下进一步研究。
摘要由CSDN通过智能技术生成


集成学习之Blending

简要记录学习

一、Blending是什么?

Blending基本思想为构造两层模型,具体构建流程如下:数据划分为训练集、验证集和测试集;选择多个模型作为第一层模型,在训练集进行训练;第一层模型在验证集进行预测,将预测结果作为特征,在验证集构建第二层模型进行训练;第一层模型加第二层模型为最终模型,在测试集检验精度。

二、与单一模型对比

1.决策边界

以iris数据集为例,为方便可视化。特征取前两个,类别取前两类。第一层模型为决策树、支持向量机和KNN;第二层模型为随机森林。模型在验证集表现如下,左图为决策树,右图为为Blending模型:
在这里插入图片描述
可见,Blending模型具有更加复杂的决策边界,但是这个验证集相当于Blending的训练集,倒也不好说精度提升了没有,模型好坏还需要在测试集进一步评估。

2.精度对比

这里采用完整的数据集和标签进行测试,结果如下:

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值