由adboost, gbdt到xgboost，从目标函数说起

Adboost

原理

Adboost是利用前一轮弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去，简单的说是Boosting框架+任意基学习器算法+指数损失函数。它是加法模型，学习的是前向分布学习算法，损失函数为指数函数的分类问题；另外，其基分类器可以为任何学习器，使用最广泛的是决策树和神经网络；对于决策树，使用CART分类回归树

目标函数

损失函数为指数函数，即定义损失函数为：
$$L=\underset{a,G}{\underbrace{argmin}}\sum _{i=1}^{m}exp(-y_i{f}_k(x))---（1）$$
其中，$f_k(x)$为第k轮的学习器$f_k(x)=\sum _{i=1}^k{\alpha }_i{G}_i(x)$, G(x)为基分类器，$\alpha$为每个基分类器的权重，m为样本数。
建立第k个基分类器时：
$$\begin{gathered} ({\alpha }_k,G_k(x))=\underset{\alpha ,G}{\underbrace{argmin}}\sum _{i=1}^{m}exp[(-y_i)(f_{k-1}(x)+\alpha G(x))] \\ =\underset{\alpha ,G}{\underbrace{argmin}}\sum _{i=1}^m{w}_{ki}^{\prime }exp[-y_i\alpha G(x)] \end{gathered}$$
注意此时对于单个基分类器$G_k(x)$而言，对任意的$\alpha$有
$$G_k(x)=\underset{G}{\underbrace{argmin}}\sum _{i=1}^m{w}_{ki}^{\prime }I(y_i\ne G(x_i))---（2）$$
继续公式（adboost-1）
a r g    m i n    ⏟ α , G ∑ i = 1 m w k i ′ e x p [ − y i α G ( x ) ] = a r g    m i n    ⏟ α ∑ y i = G k