天池比赛打卡第三天

最新推荐文章于 2024-09-15 14:07:50 发布

llp3120120369

最新推荐文章于 2024-09-15 14:07:50 发布

阅读量78

点赞数

文章标签：决策树

本文链接：https://blog.csdn.net/llp3120120369/article/details/115768941

版权

本文探讨了XGBoost与随机森林这两种机器学习算法的区别。随机森林基于Bagging，通过多次随机抽样的数据和特征构建多棵树，进行集成预测。而XGBoost是对GBDT的优化，通过梯度提升策略逐步弱化残差，增强模型预测能力。两者在决策树集成方法上有所不同，各有其适用场景。

摘要由CSDN通过智能技术生成

xgboost与随机森林的区别
为了完成比赛打开的任务也为了提升自己的理论实践能力，结合本次打卡的任务主题，回顾一下XGboost与随机森林的区别，以便更深刻的理解XGboost。
以下内容参考博文 https://blog.csdn.net/blank_tj/article/details/82453535。
随机森林的本质就是将多棵决策树组合在一起，集体进行回归与预测任务。对于分类问题就是所有数都对类别进行投票，票数最多的类别就是最终预测类别。回归问题就是对每棵树的预测值求和取平均。随机森林基于Bagging https://blog.csdn.net/blank_tj/article/details/82229322，所以每次训练随机从总数据DD中选择NN条数据，N<DN<D。每次选择的特征是从总特数PP中，随机选择QQ个特征，通常Q<PQ<P。重复MM次，生成MM棵树。通过这种每次随机数据，随机特征的方式进行建树。
XGBoost是基于GBDT(Gradient Boosting Decision Tree)的改进。
未完待续…