94-随机森林

随机森林

  
  之前我们使用 Bagging 这种集成学习方法所使用的基础的分类器都是决策树。那么整个集成学习相当于集成了成百上千个决策树，这样的一个集成学习的模型就叫做随机森林。而且 sklearn 还为我们封装了一个随机森林的类，我们可以使用这个类直接非常容易的来创建一个随机森林这样一个学习模型。与此同时，sklearn 提供的随机森林的模型还提供了更多的随机性。对于每一棵决策树都是在节点上寻找一个最好的维度以及一个阈值进行划分，sklearn 封装的随机森林在训练每一棵决策树的时候默认就是在每一个节点上都是在一个随机特征子集上寻找最优划分特征，并不是在每个节点都在所有的特征上去寻找最优划分。
  

  
  和随机森林十分类似的还有另外一种该方法：Extra-Trees，即极其随机的森林。这个极其表现在决策树的节点划分上，使用随机的特征和随机的阈值进行划分，所以具有更快的训练速度。所以这种方式显然提供了额外的随机性，很好的抑制过拟合（方差），同时却增大了 bias（偏差）。
  

---

  具体代码见 94 随机森林.ipynb