GBDT

集成学习：
1.boosting AdaBoost boosting tree(GBDT)
2.bagging ramdon forest
AdaBoost：向前分布算法 弱分类器自行选择 用前一轮迭代的误差率来更新迭代下一轮的权重
GBDT：向前分布算法 用cart tree作为基分类器，迭代方式有所不同
迭代方式不同之处
Adaboost利用前一轮模型的结果更新下一轮样本的权重，然后对样本极小化加权错误率得到下一轮的弱学习器，再极小化损失函数的得到弱学习器的系数。GBDT则通过梯度下降法得到模型下一步增加减小的大小，再通过CART树拟合要增加减小的大小得到模型下一轮增加的弱学习器。

GBDT算法：

设损失数为$L(y,f(x))$，当前迭代得到的模型为$f_m(x)$,现在求下一轮弱学习器$G_m(x)$
总体损失为在每个样本上的损失求和
$$\sum _{i=1}^{N}L(y_i,f_m(x_i))$$
对每个样本$(x_i,y_i)$，损失为
$$L(y_i,f_m(x_i))$$
接下来我们想知道$f_m(x_i)$的怎么变化会使损失$L(y_i,f_m(x_i))$减小，故对$L(y_i,f_m(x_i))$在$f_m(x_i)$附近进行泰勒展开，设变化大小为$r_{m+1,i}$，则
$$L(y_i,f_m(x_i)+r_{m+1,i})=L(y_i,f_m(x_i))+\frac{\partial L}{\partial f(x_i)}{|}_{f(x_i)=f_m(x_i)}{r}_{m+1,i}+o(r_{m+1,i})$$
当$r_{m+1,i}$足够小时
$$L(y_i,f_m(x_i)+r_{m+1,i})\approx L(y_i,f_m(x_i))+\frac{\partial L}{\partial f(x_i)}{|}_{f(x_i)=f_m(x_i)}{r}_{m+1,i}$$
这里是$XGBoost$和$GBDT$在算法上的区别之一，即$XGBoost$用到二阶泰勒展开，而$GBDT$只用到一阶泰勒展开。
当$r_{m+1,i}$符号和$\frac{\partial L}{\partial f(x_i)}{|}_{f(x_i)=f_m(x_i)}$相反，且大小合适时，$L(y_i,f_m(x_i)+r_{m+1,i})<L(y_i,f_m(x_i))$,故可令
$$r_{m+1,i}=-\alpha \frac{\partial L}{\partial f(x_i)}{|}_{f(x_i)=f_m(x_i)}$$
$\alpha >0$是步长。

上一轮迭代得到的模型在每个样本上的变化大小已经得到，接下来只需要对变化大小用CART树拟合得到一个弱学习器即可完成这一轮的迭代。
对$(x_i,\alpha r_{m+1,i})$拟合一棵CART回归树，由于对$(x_i,\alpha r_{m+1,i})$拟合和对$(x_i,r_{m+1,i})$拟合所得到的CART回归树结构是一样的，只是根据CART树自身的准则得到最后的叶子结点的值不同，但在GBDT中最后的叶子节点的值并不采用CART树自身得出的叶子节点值，而极小化损失函数得到，需要用到的只是CART树结构，故这里我们对$(x_i,r_{m+1,i})$拟合得到一颗CART树，假设拟合的CART回归树的结构为$R_{m+1,j},j=1,2,...,J$，$R_{m+1,j}$为叶子节点区域。

下一步公式更新为
$$f(x):=f(x)+\sum _j{c}_{m+1,j}I(x\in R_{m+1,j})$$
其中$c_{m+1,j}$由极小化下列公式得到

$$c_{m+1,i}=argmi{n}_c\sum _{x_i\in Rm+1,j}L(y_i,f_m(x_i)+c)$$
令$$G_{m+1}(x)=\sum _j{c}_{m+1,j}I(x\in R_{m+1,j})$$
更新模型：
$$f_{m+1}(x):=f_m(x)+G_{m+1}(x)$$
继续重复上述步骤继续迭代直至达到设置的迭代次数M为止.

算法步骤总结：
输入：训练数据$(x_i,y_i{)}_{i=1,...,N},x_i\in X\subseteq R^n,y_i\in Y\subseteq R$
           ~~~~~~~~~~           损失函数$L(y,f(x))$
输出：模型$f_M(x)$
1.初始化 $f_0(x)=argmi{n}_c{\sum }_{i=1}^{N}L(y_i,c)$
2.设第$m$轮迭代得到的模型为：
$$f_m(x)$$ 设$m=0$
3.对每个样本计算损失函数负梯度在当前模型的值
$$r_{m+1,i}=-\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}|f(x_i)=f_m(x_i)$$
4.对$(x_i,r_{m+1,i})$拟合一个CART回归树,得到第$m+1$棵树的叶子节点区域$R_{m+1,j},j=1,...,J$
5.对$j=1,...J$计算
$$c_{m+1j}=argmi{n}_c\sum _{c\in R_{m+1,j}}L(y_i,f_m(x_i)+c)$$

6.更新
$$f_{m+1}(x)=f_m(x)+\sum _{j=1}^J{c}_{m+1,j}I(x\in R_{m+1j})$$
7.m=m+1，重复步骤3，4，5，6直至到达迭代次数$M$为止，得到模型
$$f_M(x)=f_0(x)+\sum _{m=1}^M\sum _{j=1}^J{c}_{m,j}I(x\in R_{m,j})$$
注意：用CART树拟合时，CART树有自己的分裂准则，对每个结点包括最后的叶子结点都有自己的赋值，但这里最后的叶子结点的取值由极小化GBDT本身的损失函数确定。

CART回归树得构建
拟合负梯度是回归问题，故不采用基尼指数，信息增益作为分裂准则，通常采用MSE均方误差作为分割样本得标准，或者采用Friedman在论文中所用到得公式
$$i_2(R_l,R_r)=\frac{w_{l}wr}{w_l+wr}(av{e}_l-av{e}_r{)}^2$$
其中$av{e}_l，av{e}_r$分别是左右孩子的均值，$w_l,wr$分别是左右孩子的权重之和。

以下使用具体的损失函数讨论
二分类问题
使用negative binomial log-likehood作为损失函数（Freidman在论文中所使用的公式）：
$$L(y,f(x))=log(1+exp(-2yf(x))),y=\pm 1$$
$$f(x)=\frac{1}{2}log\frac{p(y=1|x)}{p(y=-1|x)}$$
也可以使用逻辑回归中使用的公式$L(y,f(x))=-(ylog(f(x))+(1-y)log(1-f(x))),y=0or1$（公式灵感来源于最大似然估计法）其中,$f(x)=\frac{1}{1+exp(-x)}$
用负梯度计算：
$${\gamma }_{m,i}=-\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}{|}_{f_{m-1}(x_i)}=\frac{2y_i}{1+exp(2y_i{f}_{m-1}(x_i))}$$
对$(x_i,{\gamma }_{m,i})$拟合一颗$J$个节点的CART回归树，于是得到生成的树所产生的区域$R_{m,j},1\le j\le J$。

树的叶子节点取值由下列式子的得到：
$$argmi{n}_{c_{m,j},j=1,...,J}\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+\sum _j^J{c}_{m,j}I(x_i\in R_{m,j}))$$
即对$\forall j$
$$\begin{array}{rl}{c}_{m,j}& =argmi{n}_c\sum _{x_i\in R_{m,j}}L(y_i,f_{m-1}(x_i)+c)\\ & =argmi{n}_c\sum _{x_i\in R_{m,j}}log(1+exp(-2y_i(f_{m-1}(x_i)+c)))\end{array}$$

用$Newton$迭代法来近似节点的估计值
$$c_{m,j}=\frac{{\sum }_{x_i\in R_{m,j}}{\gamma }_{m,i}}{{\sum }_{x_i\in R_{m,j}}|{\gamma }_{m,i}|(2-|{\gamma }_{m,i}|)}$$
由于
$$f(x)=\frac{1}{2}log\frac{p_{+}}{1-p_{+}}$$
故
$$p_{+}(x)=\frac{1}{1+ex{p}^{-2f(x)}}$$
$$p_{-}(x)=\frac{1}{1+ex{p}^{2f(x)}}$$
再利用得到的概率公式进行分类。

多分类问题
对于多分类问题，使用多分类对数损失函数：
$$L((y_k，f_k(x){)}_{k=1,...,K})=\sum _{l=1}^K-p_{k}log{p}_k$$

损失函数看作是关于$f_k(x)$的多元函数，其中$y_k=0or1,{\sum }_{l=1}^K{y}_k=1$
使用$softmax$函数将预测结果转化为概率，即：

$$p_k=\frac{exp(f_k(x))}{{\sum }_{l=1}^{K}exp(f_l(x))}$$
计算每个样本分别在各个类上的负梯度
$$\begin{array}{rl}{\gamma }_{m,k,i}& =-\frac{\partial L}{\partial f_k(x_i)}{|}_{f_{m-1,l}(x_i),l=1,...,K}\\ & =y_{k,i}-p_{k,m-1}\end{array}$$
对每个类对应的负梯度$(x_i,{\gamma }_{m,k,i})$，用一棵节点数为$J$的CART树拟合，叶子节点的估计值为：
{ c m , k , j } = a r g m i n { C k , j } ∑ i = 1 N L ( { y k , i , f m − 1 , k ( x i ) + ∑ j = 1 J c k , j I ( x i ∈ R m , k , j ) } ) \{c_{m,k,j}\}=argmin_{\{C_{k,j}\}}\sum _{i=1}^{N}L(\{y_{k,i},f_{m-1,k}(x_{i})+\sum_{j=1}^{J}c_{k,j}I(x_{i}\in R_{m,k,j})\}) {cm,k,j​}=argmin{Ck,j​}​i=1∑N​L({yk,i​,fm−1,k​(xi​)+j=1∑J​ck,j​I(xi​∈Rm,k,j​)})
用$Newton$迭代法来近似，得到估计结果
$$c_{m,k,j}=\frac{K-1}{K}\frac{{\sum }_{xi\in R_{m,k,j}}{\gamma }_{m,k,i}}{{\sum }_{xi\in R_{m,k,j}}|{\gamma }_{m,k,i}|(2-|{\gamma }_{m,k,i}|)}$$

GBDT回归算法

使用平方损失作为损失函数
$$L(y,f(x))=\frac{1}{2}(y-f(x){)}^2$$
损失函数在每个样本上的负梯度为
$${\gamma }_{m,i}=-\frac{\partial L}{\partial f(x_i)}|(f(x_i)=f_{m-1}(x_i))=y_i-f_{m-1}(x_i)$$
用CART树拟合负梯度得到CART树结构$R_{m,j},j=1,...,J$
求叶子节点的估计值
$$C_{m,j}=arcmi{n}_c\sum _{x_i\in R_{m,j}}L(y_i,f_{m-1}(x_i)+c)$$

求得
$$C_{m,j}=av{e}_{x_i\in R_{m,j}}(y_i-f_{m-1}(x_i))$$
令
$$G_{m+1}(x)=\sum _{j=1}^J{C}_{m,j}I(x\in R_{m,j})$$
更新迭代模型得
$$f_m(x)=f_{m-1}(x)+G_m(x)$$

损失函数

分类算法：
1.指数损失
$$L(y,f(x))=exp(-yf(x))$$
2.对数损失
二分类：
1)
$$L(y,f(x))=log(1+exp(-2yf(x))),y=\pm 1$$
$$f(x)=\frac{1}{2}log\frac{p(y=1|x)}{p(y=-1|x)}$$
2)
$$L(y,f(x))=-(ylog(f(x))+(1-y)log(1-f(x))),y=0or1$$
$$f(x)=\frac{1}{1+exp(-x)}$$

多分类：
$$L((y_k，f_k(x){)}_{k=1,...,K})=\sum _{l=1}^K-p_{k}log{p}_k$$
$$p_k=\frac{exp(f_k(x))}{{\sum }_{l=1}^{K}exp(f_l(x))}$$

回归算法
1.均方差
$$L(y.f(x))=(y-f(x){)}^2$$

2.绝对误差
$$L(y.f(x))=|y-f(x)|$$
对应的负梯度为：
$$sign(y_i-f(x_i)$$

3.Huber损失
结合了均方误差和绝对误差，对于远离中心的异常点采用绝对误差，对于靠近中心的点采用均方误差，这个界由分位数点决定
$$L(x,f(x))=\{\begin{array}{ll}\frac{1}{2}(y-f(x){)}^2& |y-f(x)|\le \delta \\ \delta (|y-f(x)|-\frac{\delta }{2})& |y-f(x)|>\delta \end{array}$$
负梯度为：
$$\frac{\partial L}{\partial f(x_i)}=\{\begin{array}{ll}{y}_i-f(x_i）& |y-f(x)|\le \delta \\ \delta (sign(y_i-f(x_i))& |y-f(x)|>\delta \end{array}$$

4.分位数损失

$$L(x,f(x))=\{\begin{array}{ll}\theta |y-f(x)|& y\ge f(x)\\ (1-\theta )|y-f(x)|& y<f(x)\end{array}$$
负梯度为
$$\frac{\partial L}{\partial f(x_i)}=\{\begin{array}{ll}\theta & y\ge f(x)\\ \theta -1& y<f(x)\end{array}$$
其中$\theta$是分位数，需要在回归之前指定
Huber损失和分位数损失用于减少噪声的影响

注意：不管是回归问题还是分类问题拟合残差时都是用CART回归树

正则化

为防止过拟合，需要正则化，GBDT正则化有三种方式
1.对弱分类器加上步长
$$f_m(x)=f_{m-1}(x）+$$

正则化、优缺点，应用