机器学习笔记——集成学习、Bagging（随机森林）、Boosting（AdaBoost、GBDT、XGBoost、LightGBM）、Stacking

好评笔记

已于 2024-12-30 19:14:43 修改

阅读量1.7k

点赞数 48

分类专栏：机器学习笔记文章标签：机器学习集成学习人工智能 bagging boosting ai

于 2024-11-18 15:00:00 首次发布

本文链接：https://blog.csdn.net/haopinglianlian/article/details/143834494

版权

机器学习笔记专栏收录该内容

13 篇文章 ¥29.90 ¥99.00

订阅专栏

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。本笔记介绍机器学习中常见的集成学习：Bagging和Boosting。

在这里插入图片描述

文章目录

集成学习（Ensemble Learning）概述

Bagging 和 Boosting 的对比

Bagging 算法

什么是 Bagging？

Bagging 的主要特点

常用的 Bagging 算法

随机森林（Random Forest）

Boosting 算法

什么是 Boosting？

Boosting 的主要特点

常用的 Boosting 算法

AdaBoost（Adaptive Boosting）

GB（Gradient Boosting）

GBDT（Gradient Boosting Decision Tree）

GB和GBDT的关系

损失函数

回归问题

分类问题

XGBoost（Extreme Gradient Boosting）

1. 目标函数及正则化项

损失函数 $L(y_i, \hat{y}_i)$

正则化项 $\Omega(f_m)$

2. 二阶导数优化

3. 分裂增益计算

分裂增益和ID3的信息增益的区别

4. 并行化

LightGBM（Light Gradient Boosting Machine）

直方分裂算法（Histogram-based Splitting）

基于叶子生长的策略（Leaf-wise Growth Strategy）

GBDT、XGBoost、LightGBM迭代路径

Stacking 算法

基本思想和流程

实现步骤

步骤 1：选择基学习器和元学习器

步骤 2：准备第一层输入数据（K 折交叉验证）

步骤 3：训练元学习器

步骤 4：生成最终预测

优点和缺点

优点

缺点

变体

实际实现中的注意事项

总结

历史文章

集成学习（Ensemble Learning）概述

集成学习是一种通过组合多个模型（通常是弱模型）来提升整体预测性能的技术，主要分为 Bagging 和 Boosting 两类方法。Bagging 和 Boosting 是构建强大的集成模型的基础，并衍生出了多种经典的算法，如随机森林、AdaBoost、Gradient Boosting、XGBoost 和 GBDT。