集成算法的种类:
第一种,随机森林模型
随机森林的优势:
①能够处理很高维度的数据,不用做特征选择。
②训练完之后可以给出哪些feature比较重要
③容易做成并行化方法,速度较快
④可视化展示。
第二种: Boosting模型。 串行模式
从弱学习期开始加强,通过加权来进行训练。
典型代表:AdaBoost ,Xgboost
Ada boost会根据前一次的分类效果调整数据权重。
如果某一个数据在这次分类分错了,那么下次就会获得更大的权重。
最终的结果,每个分类器根据自身的准确性来确定各自的权重。
Xgboost 是一个非常强大的集成算法,各大比赛获得好成绩的基本都用这个。(后续单独写一篇文章)
第三种: Stacking算法
拿来一堆分类器,为了刷结果,全部都用上。
第一步,使用不同的分类器得到结果。第二步,训练分类器的结果。
集成算法实战: ml-ensemble.com
from mlens.ensemble import SuperLearner