机器学习_Xgboost+对比

【1】参数解释:https://www.cnblogs.com/zhangbojiangfeng/p/6428988.html

【2】实战:https://www.jianshu.com/p/5709fa18cdb4

【3】原理:http://blog.csdn.net/github_38414650/article/details/76061893

【4】调参步骤:http://blog.csdn.net/hx2017/article/details/78064362

【5】对比:http://blog.csdn.net/panda_zjd/article/details/71577463?utm_source=itdadao&utm_medium=referral

【6】https://mp.weixin.qq.com/s/duYCl9WcUjRj0nlL258b-g?scene=25#wechat_redirect这篇写的比较好。

        eta学习率的解释:你可以是几个回归树的叶子节点之和为预测值,也可以是加权,比如第一棵树预测值为3.3,label为4.0,第二棵树才学0.7,….再后面的树还学个鬼,所以给他打个折扣,比如3折,那么第二棵树训练的残差为4.0-3.3*0.3=3.01,这就可以发挥了啦,以此类推,作用是啥,防止过拟合,如果对于“伪残差”学习,那更像梯度下降里面的学习率

随机森林(Random Forest)和XGBoost是广泛使用的机器学习算法,在分类和回归问题中都有很好的表现。这两种算法都是集成学习的一种形式,通过组合多个基本决策树来提高模型的准确性和鲁棒性。 以下是随机森林和XGBoost的对比实例: 假设我们有一组房屋的数据,包括房屋的面积、位置、年龄等信息,我们要根据这些信息来预测房屋的价格。我们将数据分成训练集和测试集,使用随机森林和XGBoost两种算法分别进行模型训练和测试。 随机森林的实现: 1. 从训练数据中随机选择一部分数据,并选择其中的一些特征进行决策树的构建; 2. 基于构建的多个决策树进行投票,将结果综合起来得出最终预测值; 3. 评估模型的准确性并进行调整,重复以上步骤直到模型表现满意为止。 XGBoost的实现: 1. 初始化模型,并将数据集分成训练集和测试集; 2. 针对每个样本,计算它的梯度和海森矩阵,并使用它们来训练一个决策树模型; 3. 对训练集和测试集进行预测,计算评价指标如RMSE; 4. 将每个预测结果的残差与实际标签进行加权,以便下一轮迭代模型更好的学习; 5. 重复以上步骤,直到模型表现满意为止。 在我们的实例中,使用随机森林算法和XGBoost算法进行训练和测试,最终评估准确度和性能时,发现XGBoost表现更好,其预测误差更小。 总结来说,随机森林和XGBoost都是常用的集成学习算法,它们在许多实际问题中都有良好的表现。具体使用哪种算法取决于实际问题的特点和需要解决的难度。面对不同的问题需求,我们需要结合实际情况灵活选用不同的算法。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值