93-更多关于Bagging的讨论

更多关于Bagging的讨论

  
  上一篇博客介绍了 Bagging 这种集成学习的思路，也就是我们不使用不同的算法进行集成学习了，而使用同一种算法来学习，但是对于同一种算法，我们让它看不同的数据，在我们整体样本空间中，这种放回的取样使得每一个子模型之间都存在差异性。这一篇博客我们来看更多和 Bagging 相关的讨论。

  对于 Bagging 来说，有一个非常重要的概念就是 OOB（Out-Of-Bag）。那什么是 OOB 呢？它背后的原理是这样的，我们做放回取样的话，可能就会导致一部分样本很有可能没有取到。如果我们进行严格的数学计算的话，平均大约有 37% 的样本没被取到。那么这 37% 的样本通常就叫做 Out-Of-Bag。所以我们就可以不使用测试数据集了，直接使用这部分没有取到的样本做测试即可。

  对于 Bagging 算法来说，我们要让每一个子模型具有差异化，之前的方法就是我们让每一个子模型都去看更小的样本数据集。其实还有其它产生差异的方法，一个方式就是针对特征进行随机取样（Random Subspaces），使用这种方式一般是在样本特征数特别多的情况下，比如说在图像识别领域，每张图片每一个像素点都是一个特征，每一个样本的特征量就比较大。还有一种就是既结合之前 Bootstrap 方式，又针对特征进行随机采样，二者综合的采样方式又叫 Random Patches。
  
  

---

  我们使用 Bagging 的方式都是集合了大量的决策树，其实这种集成方式还有一个名字叫做随机森林。

  具体代码见 93 更多关于Bagging的讨论.ipynb