本文介绍了集成学习中的随机森林方法，它使用决策树作为基模型，通过有放回采样（bootstrap）创建子集，训练多个小决策树。随机森林在Scikit-Learn中的实现包括RandomForestClassifier和RandomForestRegressor，支持Out-of-bag Estimation（OOB）进行模型评估。随机森林通过减少过拟合，提高模型泛化能力。
集成学习模型与其他有监督模型的出发点大相径庭，之前的模型都是在给定的训练集上通过构建越来越强大的算法进行数据拟合。而集成学习着重于在训练集上做文章：将训练集划分为各种子集或权重变换后用较弱的基模型拟合，然后综合若干个基模型的预测作为最终整体结果。在Scikit-Learn中实现了两种类型的集成学习算法，一种是Bagging methods，另一种是Boosting methods。
随机森林（Random Forrest）是Bagging方法的一个典型代表，由它的名称就可以联想到它是一种使用决策树作为基模型的集成学习方法。
1. 集成框架
随机森林在训练过程中对训练集进行随机抽样，分别进行训练后形成若干个小的决策树。分类问题的预测通过这些基决策树的投票完成，回归问题的预测通过对基决策树结果求平均完成，整个流程如图3-17所示。
图3-17 随机森林算法原理
随机森林基模型中的决策树一般采用有较大偏差和较小方差的“弱模型”，和普通的决策树相比具体体现在：
- 样本裁剪：通过随机采样每个弱模型只训练部分样本数据；
- 特征裁剪：每个基模型的决策树只选用数据特征中的一部分进行训练和预测；随机抽样保证了所有特征都能被部分弱模型学习到；
- 小树：由于特征和样本数量有限每个弱模
最低0.47元/天 解锁文章
扫一扫
13万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
