机器学习进阶之（四）XGBoost-LightGBM

1. 回顾XGboost

XGBoost在竞赛与工业界都使用频繁。XGBoost是决策树的一种，那么要使用决策树过程，下面有两个弱分类器，一个以年龄性别，另一个以是否使用电脑，这是一种集成的思想，我们利用叶子节点与权值来表示预测值。

1.1 Boosting思想

Boosting是一个加法模型，从常数开始迭代，每一轮迭代增加一个函数，每次新添加的函数是基于以往所有的学习结果的和与真实值之间的残差上学习模型。
$${\vec{y}}_i^{(0)}=0$$ $${\vec{y}}_i^{(1)}=f_1(x_i)={\vec{y}}_i^{(0)}+f_1(x_i)$$ $${\vec{y}}_i^{(2)}=f_1(x_i)+f_2(x_i)={\vec{y}}_i^{(1)}+f_2(x_i)$$ $$...$$ $${\vec{y}}_i^{(t)}=\sum _{k=1}^t{f}_k(x_i)={\vec{y}}_i^{(t-1)}+f_t(x_i)$$

1.2 XGBoost损失函数

XGBoost需要对每棵树都进行综合考虑，优化目标是一个损失函数。
我们的目标函数是：$l(y_i,{\overline{y}}_i)=(y_i-{\overline{y}}_i{)}^2$，那么我们如何求 最优函数呢？$$F^{\ast }(\vec{x})=argmin{E}_{(x,y)}[L(y,F(\vec{x}))]$$集成算法表示：${\vec{y}}_i=$