从决策树到xgboost(二)
文章目录3 集成学习4 Adaboost4.1 Adaboost算法5 提升决策树BDT6 梯度提升决策树GBDT7 极限梯度提升XGboost3 集成学习所谓集成学习,是指构建多个分类器(弱分类器)对数据集进行预测,然后用某种策略将多个分类器预测的结果集成起来,作为最终预测结果。通俗比喻就是“三个臭皮匠赛过诸葛亮”,或一个公司董事会上的各董事投票决策,它要求每个弱分类器具备一定的“准确性”,分类器之间具备“差异性”。集成学习根据各个弱分类器之间有无依赖关系,分为Boosting和Bagging两大流