xgboost 详细理解

XGBoost
1、目标函数：
加法模型-基学习器

训练方式：前向分布算法

加法模型：
目标函数：t个基学习器，基学习器即指回归树

树的复杂度Ω为每个树的叶子节点数与叶子结点的权重w决定，注意此时的w就是leaf score，所以目标函数的正则项可以定义为：


树太深容易过你和，需要增加惩罚项， T: 叶子节点个数，

精确贪心算法：
增益： gain， 分裂前的损失值-分裂后的损失值，越大越好。
gain=obj1-obj2, obj1: 分裂前的损失值，也即目标值，obj2，分裂后的目标值

停止分裂的条件：
1、max gain<=0
2、当叶子节点包含样本个数<=1
3、限制层级，叶子节点的个数