决策树系列4：随机森林 (三个臭皮匠顶个诸葛亮)

引言

想了解一个人的人品一般询问多个熟悉他的人，而不是只问一个人，毕竟一个人的评价难免有失偏颇。对于决策树也是一样，单一的决策树有时候会过拟合，有时候效果不太理想。而随机森林就是利用多棵决策树共同做决策。毕竟三个臭皮匠顶个诸葛亮嘛。

---

随机森林

随机森林主要利用了 bagging 的思想，也就是多个学习器并行学习，共同预测结果。

随机森林有多棵决策树，每棵决策树并行独立训练。预测时每个决策树都预测出一个结果，大家共同决策：

• 对于分类问题：大家投票少数服从多数
  • 例如今天是否适合打球
• 对于回归问题：大家求平均值
  • 例如北京房价多少钱一平米

如何建立随机森林

随机森林之所以叫"随机"森林，是因为建立时有两个随机。

1. 每棵树的样本集随机
   • 为了保证训练数据的相对独立性
2. 每棵树的属性集随机
   • 为了保证训练过程的相对独立性

样本集随机

假设原始样本集有 N 个样本，则每棵树从中有放回的选择 N 个样本作为自己的样本集，这样每个树的样本集仍然是 N 个。

但由于是有放回的，所以对于一棵决策树而言，有些样本被选择了多次，有些样本没有被选到。

既保证了每棵树样本集个数和分布的一致，又保证了每个树的样本集相对独立。

属性随机