集成学习（boosting/bagging/stracking/Adaboost/GBDT/xgboost/RF）

集成学习的三种思路：

1）基于不同类型弱分类器。

2）基于相同类型但参数不同弱分类器。串行，例如boosting中的adaboost

3）基于相同类型但训练集不同弱分类器

 

• Boosting

        迭代提升，串行。基于弱分类器分错的样本，改变样本的概率分布构成新训练集，训练一个更强的学习器。迭代得到的一系列弱分类器，根据合并弱的学习模型来创造一个强大的学习模型。但是，只有当各模型之间没有相关性的时候组合起来后才比较强大。

（1）adaboost（adaptive boosting）

        不改变训练数据，迭代时提升错分样本权重，减少正确分类样本权重，最后通过加权线性组合M个弱分类器得到最终的分类器f(x)=sum(am*Gm(x))。根据分类错误率计算加权系数am，正确率越高的弱分类器的投票权数越高。

      提升树：弱模型为决策树的AdaBoost

        用Wk训练模型gk+1——计算加权错误率——计算话语权——更新Wk+1——加权集成若分类器

adaboost算法解释：

    等价于损失函数为指数函数的加法模型（f（x）=∑a*g），前向分布算法是从前向后，一步一步信息加法模型最后的每一个基函数及其权重而非将f&#