机器学习算法之Boosting算法原理和GBDT原理推导

针对Boosting的基本介绍在我的这篇文章中详细介绍了https://blog.csdn.net/blank_tj/article/details/82229322

简单总结Boosting：初始对每个样本分配相同的权重，每次经过分类，把对的结果的权重降低，错的结果权重增高，如此往复，直到阈值或者循环次数。

梯度提升算法首先给定一个目标损失函数，它的定义域是所有可行的弱函数集合(基函数)；提升算法通过迭代的选择一个负梯度方向上的基函数来逐渐逼近局部极小值。这种在函数域的梯度提升观点对机器学习的很多领域有深刻影响。

提升的理论意义：如果一个问题存在弱分类器,则可以通过提升的办法得到强分类器。

简单理解GBDT：假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。

---

Boosting算法推导：

给定输入向量X和输出变量Y组成的若干训练样本，$(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$，目标是找到近似函数$\hat{F}(\vec{x})$，使得损失函数$L(y,F(\vec{x}))$的损失值最小。

$L(y, F(\vec{x}))$的典型定义为：

$L(y,F(\vec{x})) = \frac{1}{2}(y-F(\vec{x}))^2$

$L(y,F(\vec{x})) = |y - F(\vec{x})|$

假定最优函数为$F^*(\vec{x})$，即：

$F^*(\vec{x}) = argminE_{(x,y)}[L(y,F(\vec{x}))]$

假定$F(\vec{x})$是一组基函数$f_i(\vec{x})$的加权和：

$F(\vec{x}) = \sum^M_{i=1}\gamma_if_i(\vec{x}) + C$

梯度提升方法寻找最优解$F(\vec{x})$，使得损失函数在训练集上的期望最小。
首先，给定常函数$F_0(\vec{x})$：

$F_0(\vec{x}) = argmin\sum^n_{i=1}L(y_i,c)$

以贪心思路扩展到$F_m(\vec{x})$

Fm(x⃗ )=Fm−1(x⃗ )+argm