这篇博客详细介绍了基于决策树的三种模型：随机森林、梯度提升树（GBDT）和XGBoost。随机森林通过bagging策略结合多棵决策树提高预测准确性；梯度提升树利用Boosting策略逐步优化模型；XGBoost作为GBDT的改进版，引入了更多优化策略。每种模型的优缺点、具体算法以及应用场景均有涉及。
其他相关文章
DS&ML_关联分析笔记
DS&ML_分类算法笔记之支持自动机SVM模型
DS&ML_分类算法笔记之k-近邻、KD-Tree模型
DS&ML_降维算法笔记之主成分分析PCA模型
DS&ML_分类算法笔记之朴素贝叶斯模型
DS&ML_聚类算法笔记之k-means模型
DS&ML_分类算法笔记之决策树模型
DS&ML_分类算法笔记之逻辑回归模型
对于以决策树为基础的模型的相关知识点的总结与整理
XGBoost、随机森林RF、梯度提升树GBDT&GBRT
简单描述一下这三类模型的思想，它们都是什么？
随机森林（RF）
随机森林=决策树+bagging策略
随机森林是以决策树为基础模型的分类模型。因为决策树算法尽管有剪枝等等方法，一棵树的生成肯定还是不如多棵树，因此就有了随机森林，解决决策树泛化能力弱的缺点。（可以理解成三个臭皮匠顶过诸葛亮）。随机森林内部包含了若干棵彼此独立的子决策树模型（通常CART算法决策树为基模型）
多个决策树组成森林，在预测过程中，所有的子决策树均会对预测数据输出一个预测结果，然后对结果进行汇总（分类问题通常采用投票的方式，回归模型输出的则是所有结果的均值），得到最后的预测结果。
梯度提升树（梯度迭代决策树、梯度迭代提升树）（GBDT、GBRT）
梯度提升树=决策树+Boosting策略(Copyright ©
最低0.47元/天 解锁文章
扫一扫
3734
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
