随机森林（RandomForest，RF）网格搜索法调参

最新推荐文章于 2025-04-24 19:13:41 发布

原创

最新推荐文章于 2025-04-24 19:13:41 发布 · 3.1w 阅读

249 ·

CC 4.0 BY-SA版权

文章标签：

#网格搜索调参 #机器学习 #随机森林

本文介绍随机森林(Random Forest, RF)的参数含义及网格搜索法调参步骤，通过实战案例展示如何选择最佳参数以优化模型。重点讲解RF框架参数、决策树参数及网格搜索法的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

(随机森林（RandomForest,RF）网格搜索法调参)

摘要：当你读到这篇博客，如果你是大佬你可以选择跳过去，免得耽误时间，如果你和我一样刚刚入门算法调参不久，那么你肯定知道手动调参是多么的低效。那么现在我来整理一下近几日学习的笔记，和大家一起分享学习这个知识点。对于scikit-learn这个库我们应该都知道，可以从中导出随机森林分类器（RandomForestClassifier），当然也能导出其他分类器模块，在此不多赘述。在我们大致搭建好训练模型之后，我们需要确定RF分类器中的重要参数，从而可以得到具有最佳参数的最终模型。这次调参的内容主要分为三块：1.参数含义；2.网格搜索法内容；3.实战案例。

1.RF参数含义

1.1RF框架参数

(1) n_estimators: 也就是弱学习器的最大迭代次数，或者说最大的弱学习器的个数。一般来说n_estimators太小，容易欠拟合，n_estimators太大，计算量会太大，并且n_estimators到一定的数量后，再增大n_estimators获得的模型提升会很小，所以一般选择一个适中的数值。默认是100。

(2) oob_score :即是否采用袋外样本来评估模型的好坏。默认识False。个人推荐设置为True，因为袋外分数反应了一个模型拟合后的泛化能力，(至于袋外样本，需要了解一下RF的原理)。

(3) criterion: 即CART树做划分时对特征的评价标准。分类RF对应的CART分类树默认是基尼系数gini,另一个可选择的标准是信息增益。
从上面可以看出， RF重要的框架参数比较少，主要需要关注的是 n_estimators，即RF最大的决策树个数。

1.2RF决策树参数

下面我们再来看RF的决策树参数，它要调参的参数基本和GBDT相同，如下:

(1) RF划分时考虑的最大特征数max_featu res: 可以使用很多种类型的值，默认是"auto",意味着划分时最多考虑N个特征；如果是"log2"意味着划分时最多考虑log2N个特征；如果是"sqrt"或者"auto"意味着划分时最多考虑N−−√个特征。如果是整数，代表考虑的特征绝对数。如果是浮点数，代表考虑特征百分比，即考虑（百分比）取整后的特征数。其中N为样本总特征数。一般我们用默认的"auto"就可以了，如果特征数非常多，我们可以灵活使用刚才描述的其他取值来控制划分时考虑的最大特征数，以控制决策树的生成时间。

(2) 决策树最大深度max_depth: 默认可以不输入，如果不输入的话，决策树在建立子树的时候不会限制子树的深度。一般来说，数据少或者特征少的时候可以不管这个值。如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。常用的可以取值10-100之间。

(3) 内部节点再划分所需最小样本数min_samples_split: 这个值限制了子树继续划分的条件，如果某节点的样本数少于min_samples_split，则不会继续再尝试选择最优特征来进行划分。默认是2.如果样本量不大，不需要管这个值。如果样本量数量级非常大，则推荐增大这个值。

(4) 叶子节点最少样本数min_samples_leaf: 这个值限制了叶子节点最少