bagging通过bootstrap构建集成分类器

最新推荐文章于 2023-11-03 20:56:08 发布

修炼之路

最新推荐文章于 2023-11-03 20:56:08 发布

阅读量2k

点赞数

分类专栏：机器学习 scikit-learn修炼之路 python机器学习实战文章标签： Bagging 集成学习 sklearn

本文链接：https://blog.csdn.net/sinat_29957455/article/details/79795637

版权

python机器学习实战同时被 3 个专栏收录

43 篇文章 835 订阅 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

机器学习

57 篇文章 21 订阅

订阅专栏

scikit-learn修炼之路

22 篇文章 3 订阅

订阅专栏

本文介绍了Bagging集成分类器的工作原理，通过bootstrap抽样构建多个分类器，以提高不稳定模型的准确率和降低过拟合。对比了bagging与未剪枝决策树的性能，发现bagging在过拟合程度上优于决策树。同时，通过决策区域的可视化，进一步展示了Bagging决策边界的平滑性，强调了其在高维度复杂任务中的优势。

摘要由CSDN通过智能技术生成

集成学习是将不同分类器组合成为一个元分类器，元分类器与其包含的当个分类器相比，元分类器具有更好的泛化性能。

一、bagging集成分类器

bagging没有使用相同的训练集拟合集成分类器中的单个成员分类器，bagging集成分类器的训练集使用了bootstrap抽样(有放回的随机抽样)。bagging可以提高不稳定模型的准确率，并且可以降低过拟合的程度。

注：抽样后的子集T可以与其他的子集相同，因为是有放回的抽样。

二、对比bagging和决策树的性能

1、计算bagging在训练集和测试集的准确率

import pandas as pd
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import LabelEncoder
from sklearn.model_selection import train_