Ensemble Learning(Trees, Forests, Bagging, Boosting）

scott198512

已于 2022-10-24 15:47:33 修改

阅读量828

点赞数 1

分类专栏：机器学习文章标签：集成学习 boosting 机器学习 1024程序员节

于 2022-10-22 11:49:33 首次发布

本文链接：https://blog.csdn.net/scott198510/article/details/127459783

版权

机器学习专栏收录该内容

39 篇文章 37 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

集成学习通过组合多个弱学习器构建强学习器，降低方差并提高稳定性。文章详细介绍了CART决策树、Ensemble Learning的概念，强调了其在减少模型不稳定性上的作用。进一步讲解了Bagging、Random Forests以及Boosting方法，特别是Gradient Boosting和XGBoost，展示如何通过优化损失函数和正则化来提升模型性能。

摘要由CSDN通过智能技术生成

1.概述

有监督学习任务中，对于一个相对复杂的任务而言，我们的目标是学习出一个稳定且在各个方面表现都较好的模型，但实际情况往往不会如此理想，有时只能得到多个有偏好的模型（弱监督模型或弱可学习weakly learnable模型）。集成学习就是组合这里的多个弱可学习模型得到一个更好更全面的强可学习 strongly learnable模型，集成学习潜在的思想是即便某一个弱学习器得到了错误的预测，其他的弱学习器也可以将错误纠正回来，实现的效果就是将多个“专家”的判断进行适当的综合，要比任何一个“专家”单独的判断好，实际上就是“三个臭皮匠顶个诸葛亮”的道理。

在PAC的学习框架中，强可学习与弱可学习是等价的，也就是一个概念是强可学习的充分条件是这个概念是弱可学习的。

集成学习可用于分类问题集成，回归问题集成，特征选取集成，异常点检测集成（isolated forest）等，可以说所有的单一机器学习模型经过集成都可以形成集成学习模型。本文对各类集成学习做一个比较全面的总结。