Adaboost、GBDT和XGBoost

Adaboost

AdaBoost(Adaptive Boosting自适应增强)：前一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来训练下一个基本分类器。同时，在每一轮中加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。

Adaboost 迭代算法：

1. 初始化训练数据的权值分布。如果有N个样本，则每一个训练样本最开始时都被赋予相同的权值：1/N。
2. 训练弱分类器。具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权值就被降低；相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。
3. 将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。

Boosting

GBDT

给定样本集：$\left(x_1,y_1\right)\dots \left(x_n,y_n\right)$；

损失函数： $L(y,f(x))$；

树模型：$T(x;\Theta )$ ；

目的：使用多个弱分类器构建出一个强分类器，来预测样本。

第一步：初始化$f(x)$，先找到最合适的参数 ${\Theta }_1$， 使得${\sum }_{i=1}^{n}L\left(y_i,T\left(x_i;{\Theta }_1\right)\right)$最小，模型初始化，$f(x)=T\left(x;{\Theta }_1\right)$;

第二步：使用负梯度来代替残差，(其实有些人会说，GBDT本质上拟合的就是负梯度，而不是残差，只是均方误差比较凑巧，负梯度刚好等于残差)
（1）当在回归中使用均方误差$L(y,f(\mathbf{x}))=\frac{1}{2}(y-f(\mathbf{x}){)}^2$作为损失函数时，负梯度就是残差$$\frac{\partial J}{\partial f\left({\mathbf{x}}_i\right)}=\frac{\partial {\sum }_{i=1}^{N}L\left(y_i,f\left({\mathbf{x}}_i\right)\right)}{\partial f\left({\mathbf{x}}_i\right)}=\frac{\partial L\left(y_i,f\left({\mathbf{x}}_i\right)\right)}{\partial f\left({\mathbf{x}}_i\right)}=f\left({\mathbf{x}}_i\right)-y_i$$
可见，负梯度就是残差
$$y_i-f\left({\mathbf{x}}_i\right)=-\frac{\partial J}{\partial f\left({\mathbf{x}}_i\right)}$$
（2）而使用别的损失函数时，
$$r_{m,i}=-{\left[\frac{\partial L\left(y_i,f\left({\mathbf{x}}_i\right)\right)}{\partial f(\mathbf{x})}\right]}_{f(\mathbf{x})=f_{m-1}(\mathbf{x})},i=1,2,\cdots ,N$$
第三步：
$$\begin{array}{rl}{f}_m(\mathbf{x})& =f_{m-1}(\mathbf{x})-{\rho }_m{\left[\frac{\partial J(f)}{\partial f(\mathbf{x})}\right]}_{f(\mathbf{x})=f_{m-1}(\mathbf{x})}\\ & =f_{m-1}(\mathbf{x})+{\rho }_m\left(-{\left[\frac{\partial J(f)}{\partial F(\mathbf{x})}\right]}_{f(\mathbf{x})=f_{m-1}(\mathbf{x})}\right)\end{array}$$
最终的模型是由前$m-1$个弱分类器，以及最后一个分类器 集合而成。

XGBoost