集成算法
目的:让机器学习效果更好
Bagging模型
各个弱学习器之间没有依赖关系,可以并行拟合,如随机森林。
随机森林其中随机就是数据采用随机,特征选择随机,其中森林就是很多决策树并行放在一起。由于二重随机性,使得每个树基本上都不会相同,所以最终的结果也不同。
Boosting模型
个弱学习器之间有依赖关系,如Adaboost、Xgboost算法
Adaboost会根据前一次的分类效果调整数据权重。最终的结果是每个分类器根据自身的准确性来确定各自的权重,在串行组合在一起。
Stacking
聚合多个分类或回归模型(分阶段来做)
把各种各样的分类器堆叠在一起(KNN,SVM,RF等),第一阶段得出各自结果,第二阶段再用前一阶段训练。