集成算法——学习笔记

与神经网络相媲美。非常强大！一般都是对决策树集成。

随机森林与Stacking集成算法。

• Bagging集成思想与随机森林
• 理解交叉验证
• 理解Stacking集成算法。

 

集成算法：多算法融合。

决策树：容易发生过拟合。一颗树不好，就多颗树，森林。

怎么集成？两种方法主流，其他adaboost,xgboost

1、Bagging

独立并行训练，最后取平均值。

随机森林，基础决策树-称为弱学习器，集成之后：强学习器。

随机：随机数据、随机特征->提升泛化能力。

回归任务：均值。

分类任务：投票。

 

优势：并行，速度快。

2、Stacking

stack堆叠

各种任何算法集成。

分阶段：

并行训练，预测，第二阶段依据第一阶段加分类。

相当于在Bagging基础上进行总结。

转载于:https://www.cnblogs.com/wxl845235800/p/11134749.html