ML《集成学习（五）XGBoost》

==============华丽分割线
1：树的复杂度

=============华丽分割线
2：树的计算


=============华丽分割线
3：树的代价函数


=============华丽分割线
4：树的代价函数最小化

==============华丽分割线
5：寻找最有分割点（这里不细说了，有兴趣的童鞋们可以自行查看）

1）：暴力枚举
2）：近似法
3）：Weighted Quantile Sketch

XgBoost最大的特点就是：
1、目标函数通过二阶泰勒展开式做近似
2、定义了树的复杂度，并应用到目标函数中
3、分裂结点处通过结构打分和分割损失动态生长
4、分裂结点的候选集合通过一种分布式Quantile Sketch得到
5、可以处理稀疏、缺失数据
6、可以通过特征的列采样防止过拟合

查考学习的博客是：
https://blog.csdn.net/a1b2c3d4123456/article/details/52849091
https://www.jianshu.com/p/8cb5289da9de?open_source=weibo_search

非常感谢！