集成学习学习笔记——Boosting（6）

一、Bagging与Boosting

• Bagging：基于Bootstrap法，通过获得多个不同样本集合（以及特征抽样方法）对同一类型模型做拟合，并利用投票法得出最终预测。主要思路是通过大幅降低方差来降低泛化误差。
• Boosting：使用同一组数据集，通过迭代学习降低学习的偏差来降低泛化误差。主要有Adaptivve Boosting和Gradient Boosting（XGB、LightGBM、Catboost）两类

二、Boosting思路及方法

       基于PAC学习理论框架，弱学习与强学习等价，我们总是可以基于一系列较为简单的弱学习器去实现一个强学习器。

        而对Boosting方法来说，大多数是通过改变训练数据集合中的概率分布（不同sample的weight），拟合新的弱学习器模型，再基于拟合效果去更新样本权值和模型权重。

三、Adaboost

【思路】

（1）对在前一轮分类器拟合中被错误分类的样本，提高其权重；对再前一轮分类器拟合中被正确分类的样本，降低其权重。从而本轮训练中，会更加“重视”之前分类错误的样本。

（2）各个弱学习器的组合通过采取加权后的投票法，加大分类错误率低的模型的权重。

【算法】

分为adaboost分类器与adaboost回归器

详见https://www.cnblogs.com/pinard/p/6133937.html

【优缺点】

Adaboost的主要优点有：

1）Adaboost作为分类器时，分类精度很高

2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。

3）作为简单的二元分类器时，构造简单，结果可理解。

4）不容易发生过拟合

Adaboost的主要缺点有：

1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

 

四、GBDT XGBoost LightGBM