ISLR读书笔记十五：Bagging, Random Forests, Boosting

最新推荐文章于 2020-10-23 16:28:33 发布
最新推荐文章于 2020-10-23 16:28:33 发布
阅读量261 收藏 2
点赞数
分类专栏： 机器学习 文章标签： 决策树 机器学习 boost
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43084570/article/details/109111126
版权
这篇博客介绍了三种集成学习方法：Bagging通过自助法降低预测结果的方差，随机森林通过随机选择自变量减少树之间的相关性，而Boosting则是通过序列学习和残差拟合逐步提升模型准确度。文中详细阐述了每种方法的原理和优缺点，并提及关键参数如树的数量、收缩系数和分叉数的调整。
摘要由CSDN通过智能技术生成

Bagging, Random Forests, Boosting

Bagging

前一篇的决策树模型，有一个问题：预测结果的方差会很大，可以通过 bagging的方法来降低方差。其主要思想如下：

用自助法（bootstrap）的方式得到 B B B 个不同的训练数据集，设第 b b b 个数据集上的得到的预测结果为 f ^ ∗ b ( x ) \hat{f}^{*b}(x) f^​∗b(x)，对于回归问题，最终的预测结果可表示为
f ^ bag ( x ) = 1 B ∑ b = 1 B f ^ ∗ b ( x ) \hat{f}_{\text{bag}}(x)=\frac{1}{B}\sum_{b=1}^B\hat{f}^{*b}(x) f^​bag​(x)=B1​b=1∑B​f^​

最低0.47元/天 解锁文章
晓炜
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ISLR和Hands-On Machine Learning with Scikit-Learn and TensorFlow英文
01-25
两本书：ISLR First P和Hands-On Machine Learning with Scikit-Learn and TensorFlow英文版，不适合单独看，适合结合吴恩达的课程一块看。
《ISLR》学习笔记 —— Bagging、随机森林、Boosting
eveiii的博客
05-27 398
Bagging、随机森林、Boosting1.Bagging(装袋算法）2.随机森林3.Boosting 1.Bagging(装袋算法） bootstrap抽样：反复地从原始数据集中有放回地抽取观测数据，得到多个数据集。 优点：适用于样本数量较小，可从原始数据中产生多个训练集。 缺点：会引入相同样本，改变了原始数据的分布，导致偏差。 在决策树中（或其他高方差模型中），由于其高方差低偏差地特性（即对训练集样本很敏感），样本发生个别变化时，生成的决策树可能会完全不同。为了减小高方差，引入Bagging方法。
Bagging/RandomForest和Boosting/GBDT的区别
aaa_aaa1sdf的博客
08-03 3334
1. Bagging和Boosting的相同点 都是通过将多个弱学习器进行结合，获得比单一学习器显著优越的泛化性能的强学习器组合。关键假设：基学习器的误差相互独立。而现实任务中，个体学习器是为了解决同一问题存在的，显然不相互独立。 根据学习器的生成方式，分为两类： 1. 个体学习器间存在强依赖关系，必须串行生成的序列化方法，代表为Boosting 2. 个体学习器间不存在强依赖关系，可同时...
统计学习方法——CART, Bagging, Random Forest, Boosting
热门推荐
Rachel Zhang的专栏
11-10 8万+
本文从统计学角度讲解了CART（Classification And Regression Tree）, Bagging(bootstrap aggregation), Random Forest Boosting四种分类器的特点与分类方法，参考材料为密歇根大学Ji Zhu的pdf与组会上王博的讲解。CART（Classification And Regression Tree）
理解随机森林（RandomForest）、Bagging和Boosting的概念
fly_Xiaoma的博客
04-02 9127
目录 1、什么是随机森林 2、随机森林的特点 缺点 3、随机森林的评价指标--袋外误差（oob error） 4、随机森林的生成过程 5、Bagging和Boosting的概念与区别 Bagging算法（套袋法）： Boosting（提升法） Bagging，Boosting的主要区别 决策树与这些算法框架进行结合所得到的新的算法： 6、决策树 ID3,C4.5决策树...
ISLR-with-Python：R을Python的统计学习简介
02-05
发现之前已为我们提供了很棒的ISLR python版本 带有Python的ISLR R（ISLR）中的统计学习简介으Python으로 슬라이드나가자료 1장-简介 인공지능，머신러닝，데이터사이언스，예측분석을... 2장-统计学习 监督学习소...
ISLR:R 中应用统计学习简介
07-13
5. **集成方法**：如bagging（bootstrap aggregating）、boosting和随机森林，这些方法通过组合多个弱模型创建强预测器。例如，`gbm()`用于梯度提升，`randomForest()`用于随机森林。 6. **正则化方法**：包括岭...
ISLR-python：统计学习入门（James，Witten，Hastie，Tibshirani，2013年）：Python代码
02-03
ISLR-python：统计学习入门（James，Witten，Hastie，Tibshirani，2013年）：Python代码
ISLR：统计学习导论
02-28
单反相机 统计学习简介： ： 通过本书和实验室进行工作。 取得书籍： ： 我们的解决方案： 视频课程幻灯片 其他解决方案 Python解决方案 Julia解决方案 机器学习文章 其他数学入门书籍
合成孔径雷达成像：算法与实现读书笔记.docx
05-29
"合成孔径雷达成像：算法与实现读书笔记" 合成孔径雷达成像是指通过合成孔径雷达系统获取的雷达图像。该技术结合了雷达技术和成像技术，可以获取高分辨率的雷达图像。下面是对合成孔径雷达成像的算法和实现的读书...
Ensemble learning:Bagging,Random Forest,Boosting
yqtao的博客
01-05 4267
概述\qquad集成学习(ensemble learning)构建多个基础的分类器，然后将多个分类器进行组合的一种学习方式。其通常也被称为多分类器系统(multi-classifer system)。下图显示了集成学习的一种普遍的方式：\qquad从图中可以看到，首先从原始的数据集中构造多个数据集，然后分别构造单个分类器，最后将这些分类器进行组合的到组合的分类器。\qquad一个很自然的问题：为什么
Bagging,Random Forests以及Boosting
LW_ICE
05-01 1254
前面讲到，决策树（决策树（Decision Tree））可以用来解决分类或回归问题，它们统称为分类回归树（Classification and Regression Tree,CART）。并且，分类回归树有一个显著的缺点，那就是对噪音十分敏感，稍微改变数据，树的形状很有可能发生较大的改变。 为了防止分类回归树陷入过拟合，我们有一系列改善措施来提高树的性能，常见的有Bagging和Random
ISLR读书笔记十六：最大边际分类器（maximal margin classifier）
weixin_43084570的博客
10-17 2212
最大边际分类器前言超平面分离超平面最大边际超平面 前言 本篇和接下来的两篇将介绍一种重要的分类方法：支持向量机（support vector machines）。本篇主要讲的是最大边际分类器（maximal margin classifier），是支持向量机的基础。接下来两篇将分别介绍支持向量分类器（support vector classifier）、支持向量机（support vector machines）。 超平面 超平面（hyperplane）指的是 ppp 维空间的 p−1p-1p−1 维线性子
ISLR读书笔记七：线性判别分析（LDA）
weixin_43084570的博客
10-01 1665
线性判别分析（LDA）前言单变量的LDA多变量的LDA二次判别分析（QDA） 前言 线性判别分析（linear discriminant analysis，简称LDA）是一种解决分类问题的方法。上一篇文章中讲到的逻辑斯蒂回归是处理分类问题的一个很好的模型，那么为什么还需要LDA呢？主要有以下三个原因： 当类分离得很好的时候，逻辑斯蒂回归的参数估计很不稳定，而LDA不会存在这个问题。 当 nnn 很小，而自变量 XXX 的分布大致服从正态分布时，LDA比逻辑斯蒂回归更稳定 LDA比逻辑斯蒂回归更适合处理多分
ISLR读书笔记十：模型选择——子集选择法（subsect selection）
weixin_43084570的博客
10-11 1661
模型选择——子集选择法前言最优子集法逐步选择法向前逐步选择向后逐步选择混合逐步选择如何评价最优 前言 这篇文章主要讲的是模型选择（model selection）中的一类方法：子集选择法（subsect selection），接下来两篇文章将介绍模型选择的其他两类方法：收缩法（shrinkage）和降维法（dimension reduction）。 首先为什么要进行模型选择呢？以线性回归模型为例，主要出于预测准确性（prediction accuracy）和模型解释度（model interpretabil
ISLR读书笔记十七：支持向量分类器（Support Vector Classifier）
weixin_43084570的博客
10-20 1292
上一篇讲到的最大边际分类器存在两个问题： 无法解决线性不可分的情况，即如果不存在分离平面，那么最大边际分类器就失效了。 鲁棒性较差。如果添加一个观测数据，可能会导致最大边际超平面产生较大变化。 针对这两个问题，引入支持向量分类器（Support Vector Classifier）。其大致思想是：以小范围的错误，换取更大范围的正确。即边际未必完美地将数据分离成两类，允许犯错，允许一些数据错误地划分到边际的一边，甚至允许一些数据错误地划分到超平面的一边，以牺牲小部分分类错误为代价，建立一个更加
ISLR读书笔记十一：模型选择——收缩法（shrinkage methods）
weixin_43084570的博客
10-11 1235
模型选择——收缩法岭回归（ridge regression）Lasso调参 收缩法是另外一类模型选择的方法。收缩法将所有 ppp 个自变量进行拟合，但是将某些自变量的系数收缩到 0。主要有 ridge regression 和 lasso 两种方法。 岭回归（ridge regression） 线性回归模型中，最小化RSS： RSS=∑i=1n(yi−β0−∑j=1pβjxij)2RSS=\sum_{i=1}^n(y_i-\beta_0-\sum_{j=1}^p\beta_jx_{ij})^2RSS=i=1
ISLR读书笔记十二：模型选择——降维法（dimension reduction methods）
weixin_43084570的博客
10-13 770
模型选择——降维法前言PCRPLS 前言 前面介绍的两类模型选择的方法，都保留了原始的自变量，而降维法则对原始自变量进行了转化，其大致思想是将原来的 ppp 个自变量，整合成 MMM 个自变量（M<pM<pM<p）。 若令 Z1,Z2,⋯，ZMZ_1,Z_2,\cdots，Z_MZ1​,Z2​,⋯，ZM​ 表示 ppp 个 原始自变量的 MMM 个线性组合，即 Zm=∑j=1pϕjmXjZ_m=\sum_{j=1}^p\phi_{jm}X_jZm​=j=1∑p​ϕjm​Xj​ 然后对这
ISLR读书笔记十九：主成分分析（PCA）
weixin_43084570的博客
10-23 720
前面写的一些统计学习方法都是属于监督学习（supervised learning），这篇主成分分析（principal components analysis，简称 PCA ）和下一篇聚类分析（clustering）都是属于非监督学习（unsupervised learning）。 之前 ISLR读书笔记十二 中已经提到过主成分这一概念。其主要目的是利用一小部分数据组合，尽可能多地体现 全部数据的特征，从而实现降维的作用。 这里的 尽可能多地体现 可以有两种解读： 数据方差最大 最近似。 ...
ModuleNotFoundError: No module named 'ISLR'
最新发布
06-20
"ModuleNotFoundError: No module named 'ISLR'" 是一个常见的 Python 错误，当你尝试导入名为 'ISLR' 的模块时遇到这个错误，意味着你的Python环境中并没有安装这个特定的模块。ISLR通常指的是《An Introduction to...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值