Bagging tree 与 Boosting Tree

Bagging tree 与 Boosting Tree

在机器学习中，我们讲了很多不同的算法。那些算法都是单打独斗的英雄。而集成学习就是将这些英雄组成团队。实现“3 个臭皮匠顶个诸葛亮”的效果。
本文将介绍集成学习的 2 种主要思路：bagging、boosting。

什么是集成学习？
集成学习归属于机器学习，他是一种「训练思路」，并不是某种具体的方法或者算法。
现实生活中，大家都知道「人多力量大」，「3 个臭皮匠顶个诸葛亮」。而集成学习的核心思路就是「人多力量大」，它并没有创造出新的算法，而是把已有的算法进行结合，从而得到更好的效果。

集成学习会挑选一些简单的基础模型进行组装，组装这些基础模型的思路主要有 2 种方法：

1. bagging（bootstrap aggregating的缩写，也称作“套袋法”）
2. boosting

Bagging Tree

Bagging 的核心思路是 — — 民主。
Bagging 的思路是所有基础模型都一致对待，每个基础模型手里都只有一票。然后使用民主投票的方式得到最终的结果。
大部分情况下，经过 bagging 得到的结果方差（variance）更小。

具体过程：

1. 从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本（在训练集中，有些样本可能被多