Gradient Boost回归实例化解析

文章目录Gradient Boost特性 - 相对于AdaBoostGradient Boost原理Gradient Boost生成原理Gradient Boost 数学原理输入本文通过文字方式记录YT StatQuest关于Gradient Boost的系列讲解,方便总结回顾视频内容。理性前提为了解决策树和AdaBoost的相关内容。Gradient Boost有广泛的解释方法,此为最常用而且比较好理解的一种。多图预警Gradient Boost特性 - 相对于AdaBoostGradien
摘要由CSDN通过智能技术生成

本文通过文字方式记录YT StatQuest关于Gradient Boost的系列讲解,方便总结回顾视频内容。

理性前提为了解决策树和AdaBoost的相关内容。
在这里插入图片描述
Gradient Boost有广泛的解释方法,此为最常用而且比较好理解的一种。

多图预警

Gradient Boost特性 - 相对于AdaBoost

Gradient Boost同样可以生成基于先前树错误情况的森林,但是和AdaBoost不同的是,其产物为树而不是树桩,也就是抛弃了弱学习器。一般人们设置叶子数在8-32之间,在这我们取4仅作介绍。
在这里插入图片描述
特别注意:Gradient Boost生成的第一颗树只包含一个根节点,其值为连续性预测目标的平均值,此处仅为重量 71.2。

与AdaBoost相同,Gradient Boost会一直创建这些树直到达到要求创建的数目或者新增的树对模型没有提升为止。

Gradient Boost原理

关于Gradient Boost的解释可以分为常规解释和数学原理两部分,本文中将称常规解释呈为生成原理先行介绍,呈现算法流程,方便与之后的数学原理实现步骤进行一 一对应

Gradient Boost生成原理

  1. 连续性目标的均值为第一颗树,仅包含此根节点。

  2. 以根节点的值为基准,计算每个样本的Pseudo Residual,本文此后将简称其为Residual,因为目前Pseudo的作用就只是和Linear Regression的Residual做区别, R e s i d u a l = t r u e − p r e d Residual = true - pred Residual=truepred
    在这里插入图片描述

  3. 依据特征和进行类似于决策树的构建过程,叶子为满足决策树条件的样本的Residual,如果一个叶子中包含了多个样本的Residual值,取均值,得到如下结果:
    在这里插入图片描述

  4. 获得每个样本的预测值并更新Residual 预 测 值 = 根 节 点 v a l u e

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值