机器学习——随机森林

以决策树为基础-随机森林

决策树的一个主要缺点在于经常对训练的数据过拟合。随机森林是解决这个问题的一种方法。随机森林的本质上是很多决策树的集合，其中那个每棵树都和其他树略有不同。随机森林背后砈思想史是，每棵树的预测都可能相对较好，但可能对部分书聚过拟合，如果我们构建很多树，并且每棵树都可以预测的很好，但都已不同的方式过拟合，那么我们可以对这些树的结果取平均值来降低过拟合。既能减少过拟合又能保持树的预测能力。

为了实现这一策略，我们需要构建很多树。每棵树都应该对目标值做出可以接受的预测，还应该与其他的树不同。随机森林的名字来源于 将随机性添加到树的构建过程中，以确保每棵树都是不同的。随机森立的随机化方法有两种： 一种是 选择用于构造树的数据点，另一种是通过选择每次划分测试的特征。