随机森林算法梳理

• 1.集成学习概念

集成学习不是一个单独的机器学习算法，它是通过构建并结合多个同质的“弱学习器”来完成学习任务，从而获得比单个学习器更好的学习效果，实现1+1>2，也就是我们常说的“博采众长”。随着对集成学习不断的深入研究，其广义定义被研究人员接受，对学习期的性质不加以限制，整合多个学习器集合来完成任务，多学习器系统、多专家混合以及基于委员会的学习等多个领域都被纳入到集成学习中，但是目前以同质分类器集成学习的研究居多。

如图1 所示，是集成学习的发展历程。

                                                                                 图1 集成学习发展历程 

 

• 2.个体学习器概念

组成集成学习的单个同质“弱学习器”，称为个体学习器。根据个体学习器的生成方式，集成学习大致可以分为两类：

• 个体学习器间存在强依赖关系、必须串行生成的序列化方法，主要有Boosting；
• 个体学习器间不存在强依赖关系、可同时生成的并行化方法，主要有Bagging和Random Forest。