R语言--GBM-梯度提升机

##GBM
    set.seed(123)
    folds <- createFolds(y=data$Groups,k=5)
    # 建一个放auc值的空向量
        auc<-as.numeric()
        Errorrate<-as.numeric()
        accuracy<-as.numeric
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
GBM(Gradient Boosting Machine,梯度提升机)是一种集成学习算法,通过串行训练多个弱学习器来构建一个强学习器。它的原理可以简单概括为以下几个步骤: 1. 初始化:将强学习器初始化为一个常数值,通常选择目标变量的平均值作为初始预测值。 2. 计算残差:用当前模型的预测值来拟合目标变量,并计算残差(目标变量的真实值减去当前模型的预测值)。 3. 训练弱学习器:使用训练数据和残差作为输入,训练一个弱学习器(如决策树),以尽量减小残差。弱学习器一般采用贪婪算法进行构建,每次只考虑一个特征,选择最佳切分点进行划分。 4. 更新模型:将当前模型的预测结果与新训练的弱学习器的预测结果相加,得到更新后的模型预测值。 5. 更新残差:将新模型的预测值与目标变量的真实值进行比较,计算新的残差。 6. 迭代训练:重复步骤3-5,训练多个弱学习器,并将它们的预测结果累加得到最终的模型预测值。 7. 正则化:为了防止过拟合,可以对每个弱学习器的预测结果进行加权,或者限制每个弱学习器的贡献程度。 8. 得到最终模型:将所有弱学习器的预测结果进行加权累加,得到最终的模型预测值。 GBM通过不断优化残差,逐步提升模型的预测性能。每个弱学习器都在前一个弱学习器的基础上进行训练,通过迭代的方式不断改进模型的拟合能力。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MRI_lab

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值