本文介绍了集成算法的基本原理，并重点讲解了Xgboost算法。Xgboost是一种优化的目标函数驱动的集成方法，通过每轮选择能最大程度降低目标函数的基学习器进行迭代。文章通过公式和图解详细阐述了Xgboost的工作机制，包括如何构建决策树以优化加权和截距，以及如何通过叶子节点遍历实现高效计算。
一. 集成算法简介
下图是一个集成算法的图解:
y = wx +b
第一个树用来求权重值w
第二个树用来求截距 b
多个树结合在一起，模型整体的实用性更佳。
二. Xgboost集成算法简介
下图是集成算法的公式:
目标函数：
如何最优函数解？
集成算法的表示：
现在还剩下一个问题，我们如何选择每一轮加入什么f呢？答案是非常直接的，选取一个f来使得我们的目标函数尽量最大地降低
通过公式，将样本上遍历转换为在叶子节点上遍历
三. 图解Xgboost算法
参考：
- https://study.163.com/course/introduction.htm?courseId=1003590004#/courseDetail?tab=1
扫一扫
4450
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
