【机器学习】集成学习 Bagging Boosting 综述

集成学习 Ensemble learning：

        主要包括三种形似的集成方式【Bagging、Boosting、Stacking】
        指将若干弱分类器 (或基(础)分类器) 组合之后产生一个强分类器 （可以是不同类型的分类器）
        ·并不算是一种分类器，而是一种分类器的结合方法；
        ·一个集成分类器的性能会好于单个分类器；
        
1.Bagging 算法(bootstrap aggregation)：
        多个分类器同时对一个样本进行分类计算，对它们的结果 取平均 【并行训练，结果取平均值】
        设共有N个(弱)分类器, 第n个分类器的 分类模型为 fn(x)
        则这个集成的强分类器的分类模型为  fa(x) = (1/N)Σ[fn(x)]   其中n = 1,2,...,N        【1.1】

        ·随机森林 (Random Forest):
            Bagging 思想的最典型代表
            随机:数据采样 随机(采样量相同,常用0.6~0.8D),特征选择 随机(特征选取量相同,常用0.6~0.8K,K为特征总数）
            森林:多个决策树 并行放在一起

2.Boosting 算法(Boostrapping):
        一种把若干个(弱)分类器 (前后串联) 整合为一个(强)分类器的方法 【串行训练，对前者的预测值相对真实值的残差弥补】
        对于一个含有 m-1 个弱分类器的 模型fm-1(x)，在添加一个 弱分类器 h(x) 后
        集成的强分类器的模型为 ：fm(x) = fm-1(x) + argmin_h { Σ[L(yi, fm-1(xi) + h(xi))] }         【2.1】 
        【2.1】中函数  argmin_x { f(x) } 是指 使得函数 f(x) 取得其最小值时所有自变量 x 的集合 （f 取最小值时 x 的值）
        
Boosting 
        |->XGBoost   (Xtreme Gradient Boosting 极限 梯度 增强)
        |->AdaBoost   (Adaptive Boosting 自适应 增强)    
        |->GBDT   (Gradient Boosting Decision Tree 梯度提升决策树)
        |->LightGBM   (Light Gradient Boosting Machine 轻量级 梯度提升机)