浅析集成学习（Ensemble Learning）

目录

0 导语

1 集成学习

1.1 Bagging

1.2 Boosting

1.3 Stacking

 

2. 代表算法

2.1 Random Forest

2.1.1 思想

2.1.2 优缺点

2.2 Adaboost

2.2.1 思想

---

 

0 导语

当做重要决定时，大家往往会考虑吸收多个专家而非仅仅一个人的意见。同样地，这种思想也可用于机器学习。机器学习领域内有许多回归或分类模型算法，我们自然是可以将这些算法组合起来，这种组合结果就被称为集成方法（ensemble method）或者元算法（meta-algorithm）。使用集成方法时有很多形式：可以是不同算法的集成，也可以是同一算法在不同设置下的集成，还可以是数据集不同部分分配给不同分类器之后的集成。常见的集成学习框架有三种，分别为：Bagging, Boosting 和 Stacking。三种集成学习框架在基学习器的产生和综合结果的方式上会有些区别，我们先简单介绍一下。

1 集成学习

集成学习的第一个问题就是如何得到若干个个体学习器。这里有两种选择。第一种就是所有的个体学习器都是一个种类的，或者说是同质的（homogeneous），同质集成中的