集成学习

1、目前的集成学习方法大致可分为两大类；

                1）个体学习器间存在强依赖关系、必须串形生成的序列化方法。

                        常见的有：  Boosting家族的：     AdaBoost 、GBDT、XGBoost

                2）个体学习器间不存在强依赖关系、可同时生成的并行化方法。

                         常见的有：Bagging家族的：    随机森林(Random Forest)

2、Boosting家族：

            算法思想：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到事先指定的值T，最终将这T个学习器进行加权结合。

            

            Boosting算法要求基学习器能对特定的数据分布进行学习。

                      1、这可通过‘重赋权重’实施，即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋予一个权重。

                    2、对无法接受带权重的基学习器算法，则可通过"重采样法"来处理，即在每一轮学习中，根据样本分布对训练集重新进行采样，再用重采样而得的样本集对基学习器进行训练。

            一般而言，这两种做法没有显著的优劣差别。需要注意的是，‘Boosting’算法在训练 的每一轮都要检查当前生成的基学习器是否满足基本