boosting方法学习笔记（一）

Adaboost：通过不断迭代计算不同的训练集权重分布下的基分类器和分类器的系数，最后将分类器通过线性组合的方式构成最终的分类器。迭代更新的系数通过每一轮迭代的分类误差率计算。核心思想是根据训练误差调整训练集的权重分布和基分类器的系数。

GBDT（提升树）：采用加法模型（基分类器的线性组合）与前向分步算法。前向分布算法即是每一步只学习一个基函数和系数，从前向后相加，逐步逼近优化目标函数，每一次拟合上一个损失函数的残差（残差采用损失函数的负梯度来近似表示），再将拟合结果加上上一轮的加法模型得到这一轮的加法模型。核心思想是不断拟合模型的残差，加上拟合函数后不断逼近真实结果。

XGBoost：属于GBDT的高效实现，在算法上有三个区别，一是弱分类器除了决策树以外还可以选择其他的弱分类器、二是损失函数增加了正则化项提高了泛化能力、三是对损失函数求解使用了二阶泰勒展开，结果更准确。在算法效率上XGBoost也做了优化。在算法健壮性上，支持对缺失值的处理，通过枚举所有缺失值的处理，对比将缺失值放入左子树和右子树后的结果来决定缺失值的处理方式。