梯度提升思想

1.模型要素

1.提升模型（加法模型）

$$F_m(x_i)=\sum_{j=1}^{m}\alpha_jG_j(x_i)=F_{m-1}(x_i)+\alpha_mG_m(x_i)$$ $$F_m(x_i)=\sum_{j=1}^{m}T_j=F_{m-1}(x_i)+T_m(x_i)$$ 公式1是Adaboost模型， $G_m\in \{1,-1\}$， $\alpha_m$是公式的权重（唯一）。公式2是提升树模型， $T_m=\sum_{k=1}^K\alpha_{mk}I(x_i\in R_{mk})$输出是某叶节点 $R_{mk}$的取值 $\alpha_{mk}$（数量由叶节点数目决定）。对于二分类问题，提升树是Adabost的一种特殊情况，提升树叶节点的取值为带符号的Adaboost权重 $\pm \alpha_m$

2.参数

1. 二分类(以Adaboost为例): 基函数(分类器)$G_m(x)$（输出为-1，1），权重$\alpha_m$(每个分类器唯一）
2. 提升树（以回归树为例）：树结构$R_{mk}$（对应叶子节点，类似$G_m$），节点权重$\alpha_{mk}$

3.目标函数（此处即为损失函数）

提升模型有三种损失函数，对于分类问题（adaboost）用指数损失函数

$$L(y,F_m)=\sum_{i=1}^nexp(-y_iF_m(x_i))$$ 回归问题（提升回归树）用平方差损失函数 $$L(y,F_m)=\sum_{i=1}^n(y_i-F_m(x_i))^2$$ 一般决策问题用一般损失函数。

2.模型训练（求解参数）

1. 模型目标函数为其损失函数，训练目的是使的目标函数最小。此模型使用梯度提升算法，每一步弱预测模型依据损失函数的梯度方向）
2. 思想：对目标函数泰勒展开，仅考虑一阶导数的情况。对$L(y,F_m(x))$使用泰勒展开近似 $$L(y,F_m(x))=L(y,F_{m-1}(x)+f_m(x))\\\simeq L(y,F_{m-1})+\frac{\partial L(y, F_{m-1})}{\partial F_{m-1}}f_m(x)$$ 当$f_m(x)$方向取$-\big[\frac{\partial L(y, F_{x})}{\partial F_{x}}\big]_{F_x=F_{m-1}}$时，梯度下降最快（因为正交，梯度下降法），此时更新后的模型应为 $$F_m(x)=F_{m-1}-\lambda_m \frac{\partial L(y, F_{m-1})}{\partial F_{m-1}}$$ 其中$\lambda_m$为步长，最终$f_m=-\lambda_m\frac{\partial L(y, F_{m-1})}{\partial F_{m-1}}$，在回归问题中$f_m$为基函数，分类问题为基函数+分类器权重
3. 由上面的分析可得提升方法的一般步骤为：
   1）计算伪残差$r_{mi}=-\big[\frac{\partial L(y_i, F_x)}{\partial F_x}\big]_{F_x=F_{m-1}}$，其中i表示样本号，m表示基函数（分类器）号
   2）基于$r_{mi},i\in {1,2,..,n}$，构建新函数$\bar{f}_m$（分类问题为基函数，CART回归树输出为叶子节点）
   3）将$\bar{f}_m$带入损失函数，求解步长$\lambda_m = arg \min_{\lambda}L(y,F_{m-1}-\lambda \bar{f}_m)$（分类：分类器权重；回归：叶节点取值）
   4）更新$F_m=F_{m-1}+\lambda \bar{f}_m$

3. Adaboost推导

1. 模型为加法模型，损失函数为指数损失函数，参数为分类器$G_m(x)\in \{-1,1\}$和分类器权重$\alpha_m$
2. 梯度提升推导：
   1）对损失函数$L(y,f_{m-1})$求梯度： $$r_{mi}= y_iexp(-y_if_{m-1})=y_i\bar{w}_{mi}$$ 可理解为带权重的样本，对模型影响度不同
   2）根据$r_m$创建新的基函数$G_m$,使$G_m$与$r_m$尽量接近 $$G_m=arg\min_{G}\sum_{i=1}^n\bar{w}_{mi}I(y_i\neq G(x_i))$$
   3）将基函数$G_m$带入损失函数求分类器权重（步长）$\alpha_m$
   $$\alpha_m=arg\min_{\alpha}\sum_{i=1}^{n}\bar{w}_{mi}exp(-y_i\alpha G_m(x_i))$$ 损失函数变为仅关于$\alpha$的函数，对$\alpha$求导得 $$\alpha_m=\frac{1}{2}log\frac{1-e_m}{e_m}\\e_m=\frac{\sum_{i=1}^n\bar{w}_{mi}I(y_i\neq G_m(x_i))}{\sum_{i=1}{n}\bar{w}_{mi}}=\sum_{i=1}^{n}w_{mi}I(y_i\neq G_m(x_i))$$ 3）更新模型$f_m(x)=f_{m-1}(x)+\alpha_m G_m(x)$，继续重复1），其中$\bar{w}_{m+1,i}=\bar{w}_{m,i}exp(-y_i\alpha_mG_m(x_i))$
3. 前向分布算法推导
   损失函数可写为： $$L(y,f_m)=L(y,f_{m-1}+\alpha_mG_m)\\=\sum_{i=1}^{n}exp(-y_i(f_{m-1}+\alpha_mG_m(x_i)))=\sum_{i=1}^{n}\bar{w}_{mi}exp(-y_i\alpha G(x_i))\\\bar{w}_{mi}=exp(-y_if_{m-1}(x_i)$$ 然后最小化损失函数，与2中2)形式相同
4. 算法性能：误差率与分类器个数成指数关系

4.GBDT回归树推导

1）损失函数为平方损失，对损失函数求梯度，得到伪残差：

$$r_{mi}=y_i-F_{m-1}(x_i)$$
2）对 $r_{mi}$拟合一个回归树，得到第m棵树的叶节点区域 $R_{mk}$ $$(R_m,\alpha_m)=arg\min_{R,\alpha}\sum_{i=1}^{n}(r_{mi}-T_m(x_i))^2$$ 3）将给出的 $R_{mk}$带入损失函数，求极小值 $$(\alpha_{m1},\alpha_{m2})=arg\min_{\alpha}\big[\sum_{x_i\in R_{m1}}(y_i-\alpha_{1})^2+\sum_{x_i\in R_{m2}}(y_i-\alpha_{2})^2\big]$$ 得到 $\alpha$为每个叶节点区域中所有 $y_i$的均值.
4）遍历所有可能的切分点（将所有 $y_i$都尝试作为切分点），得到所有叶节点区域 $R_{mk}$，重复2）3）步，找到最优解。合并形式为 $(R_m,\alpha_m)=arg\min_{R}\sum_{i=1}^{n}\big[\sum_{k=1}^{K}\min_{\alpha}\sum_{x_i\in R_{k}}(y_i-\alpha_{k})^2\big]$
5）更新 $F_m(x_i)=F_{m-1}+T_m=F_{m-1}(x_i)+\sum_{k=1}^K\alpha_{mk}I(x_i\in R_{mk})$
6）其中2）同样可用前向分布算法得出