随机森林是一种基于bagging思想的机器学习方法，通过构建多棵决策树并行训练，以达到更好的预测效果。在随机森林中，样本集和属性集在构建每棵树时都会进行随机选择，确保每棵树的独立性和多样性。在分类问题中，随机森林采用投票方式决定最终结果；在回归问题中，则取所有树预测结果的平均值。随机森林在训练过程中能有效防止过拟合，提高模型稳定性。
引言
想了解一个人的人品一般询问多个熟悉他的人，而不是只问一个人，毕竟一个人的评价难免有失偏颇。对于决策树也是一样，单一的决策树有时候会过拟合，有时候效果不太理想。而随机森林就是利用多棵决策树共同做决策。毕竟三个臭皮匠顶个诸葛亮嘛。
随机森林
随机森林主要利用了 bagging 的思想，也就是多个学习器并行学习，共同预测结果。
随机森林有多棵决策树，每棵决策树并行独立训练。预测时每个决策树都预测出一个结果，大家共同决策：
- 对于分类问题：大家投票少数服从多数
- 例如今天是否适合打球
- 对于回归问题：大家求平均值
- 例如北京房价多少钱一平米
如何建立随机森林
随机森林之所以叫"随机"森林，是因为建立时有两个随机。
- 每棵树的样本集随机
- 为了保证训练数据的相对独立性
- 每棵树的属性集随机
- 为了保证训练过程的相对独立性
样本集随机
假设原始样本集有 N 个样本，则每棵树从中有放回的选择 N 个样本作为自己的样本集，这样每个树的样本集仍然是 N 个。
但由于是有放回的，所以对于一棵决策树而言，有些样本被选择了多次，有些样本没有被选到。
既保证了每棵树样本集个数和分布的一致，又保证了每个树的样本集相对独立。
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
