1、目前的集成学习方法大致可分为两大类;
1)个体学习器间存在强依赖关系、必须串形生成的序列化方法。
常见的有: Boosting家族的: AdaBoost 、GBDT、XGBoost
2)个体学习器间不存在强依赖关系、可同时生成的并行化方法。
常见的有:Bagging家族的: 随机森林(Random Forest)
2、Boosting家族:
算法思想:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,使得先前基学习器做错的训练样本在后续受到更多的关注,然后基于调整后的样本分布来训练下一个基学习器;如此重复进行,直至基学习器数目达到事先指定的值T,最终将这T个学习器进行加权结合。
Boosting算法要求基学习器能对特定的数据分布进行学习。
1、这可通过‘重赋权重’实施,即在训练过程的每一轮中,根据样本分布为每个训练样本重新赋予一个权重。
2、对无法接受带权重的基学习器算法,则可通过"重采样法"来处理,即在每一轮学习中,根据样本分布对训练集重新进行采样,再用重采样而得的样本集对基学习器进行训练。
一般而言,这两种做法没有显著的优劣差别。需要注意的是,‘Boosting’算法在训练 的每一轮都要检查当前生成的基学习器是否满足基本