集成学习之boosting，Adaboost、GBDT 和 xgboost（二）

AdaBoost 算法的训练误差分析

AdaBoost最基本的性质是它能在学习过程中不断减少训练误差，即在训练数据集上的分类误差率。

定理：AdaBoost的训练误差界：
$\frac{1}{N}\sum _{i=1}^{N}I(G(x_i)̸=y_i)\le \frac{1}{N}\sum _{i}exp(-y_{i}f(x_i))=\prod Z_m$
证明：当$G(x_i)̸=y_i$时，$y_{i}f(x_i)<0$，因而$exp(-y_{i}f(x_i))\ge 1$,由此直接推导出前半部分。
后半部分的推导要利用$Z_m$的定义式及其变形：
$w_{mi}exp(-{\alpha }_m{y}_i{G}_m(x_i))=Z_m{w}_{m+1,i}$
推导过程如下：

这一定理说明，可以再每一轮选取适当的$G_m$使得$Z_m$最小，从而使得训练误差下降最快。
（$G_m的选择时在权重向量D_m确定的情况下，使样本误分类率最低$）

定理2：二分类问题AdaBoost的训练误差界：