集成学习：XGBoost

0 简介

Boosting的一种 是GBDT的扩展
相比于GBDT ：

• 求解损失函数 二阶展开 牛顿法
• 损失函数加入正则化项

一般用于回归问题 弱学习器用CART树

1 目标优化函数

$y_i\prime$ 表示预测值
$y_{i,t}\prime$ 第t次迭代对样本i的预测值
弱学习器 $f(x)=w_{q(x)}$ 其中q(x)把x映射到第i个叶子节点 wi是第i个节点的值
$$y_{i,t}\prime =y_{i,t-1}\prime +f_t(x_i)$$
$$L=\sum _{i=1}^n[l(y_i,y_{i,t-1}\prime +f_t(x_i))]+\gamma T+\frac{1}{2}\lambda w^2$$
最小化L 其中T是叶子节点数 w是所有预测值（叶子结点）的集合 γ和λ是正则化系数
叶子节点数尽量少 预测值尽量小（因为弱分类器预测值是误差 越小越好）
采用牛顿法
L ≈ ∑ i = 1 n [ l ( y i , y i , t − 1 ′ ) + g i f t ( x i ) + 1 2 h i f t 2 ( x i ) ] + γ T + 1 2 λ