随机森林随笔(二)

2018年6月26日 多云

随机森林随笔(一) 粗略地介绍了决策树学习，下面开始谈谈随机森林的构建.

在说到随机森林之前，还得提到一个概念：集成学习.

集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(committee-based learning)等.

集成学习的一般结构是先产生一组“个体学习器”(individual learner)，再用某种策略将它们结合起来，如下图:

集成有两种方式，一种是“同质”(homogeneous)集成，另一种是“异质”(heterogenous)集成.

  “同质”集成中的个体学习器是由同种的学习算法生成的，其中的个体学习器称为“基学习算法”(base learning algorithm).

  “异质”集成中的个体学习器是由不同的学习算法生成的，其中的个体学习器称为“组件学习器”(component learner).

集成学习通过将多个学习器进行结合，常常可获得比单一学习器显著优越的泛化能力.

根据个体学习器的生成方式，目前的集成学习方法大致可分为两大类：

①个体学习器间存在强依赖关系、必须串行生成的序列化方法，代表算法：Boosting；

②个体学习器间不存在依赖关系、可同时生成的并行化方法，代表算法：Bagging和“随机森林”(Random Forest).

先来谈谈自举汇聚法(Bootstrap AGGregatING)，也称为bagging方法.Bagging对训练数据采用自助采样法(boostrap sampling)，即有放回地采样数据(后面会详细介绍).

对于上面的公式解释，Bagging算法通常对对回归任务使用简单的平均法，分类任务使用简单的投票法.

后面将说到随机森林啦，这几天导师带我们去抚仙湖玩一趟，暑假也不回去了，七月份继续写！