【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】

最新推荐文章于 2025-02-22 19:15:31 发布
最新推荐文章于 2025-02-22 19:15:31 发布
阅读量2.5k 收藏 36
点赞数 27
分类专栏： 智能优化算法和模型参数优化 文章标签： 随机森林 分类 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AugustMe/article/details/138437262
版权

写在前面：
首先感谢兄弟们的订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

路虽远，行则将至；事虽难，做则必成。只要有愚公移山的志气、滴水穿石的毅力，脚踏实地，埋头苦干，积跬步以至千里，就一定能够把宏伟目标变为美好现实。

历史文章回顾：
灰狼优化算法：【智能优化算法】灰狼优化算法【附python实现代码】
白鲸优化算法：【智能优化算法】白鲸优化算法【附python实现代码】
【智能优化算法】粒子群优化KNN分类算法【附python实现代码】
【智能优化算法】粒子群优化随机森林分类算法【附python实现代码】
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】

在这里插入图片描述

1、介绍

网格搜索是一种在多个维度上搜索最优解的方法，主要用于解决多变量问题，特别是寻找极值（包括极小值和极大值）。以下是网格搜索在不同领域的应用和定义：

  • 化学领域：网格搜索被定义为在寻找多变量问题的所有极值中，以固定增量改变每个变量的搜索极值的方法。
    信息技术领域：网格搜索通过建立跨越Web的信息分布和集成应用程序逻辑，利用现有的网络基础设施、协议规范、Web和数据库技术，为用户提供一体化的智能信息平台。这个平台的目标是创建一种基于Internet的新一代信息平台和软件基础设施，实现全面的信息资源共享。
  • 机器学习和模式识别领域：网格搜索算法是一种数学方法，用于确定最优参数组合以实现最佳性能。这种方法的核心思想是通过枚举某个空间中的所有可能解，并以某种评价准则度量各种解，从而寻求最佳解。通常，可以使用函数的参数空间组成一个网格，并在每个网格点处测试样本，然后根据测试得出的性能结果进行比较，最终确定最有效的参数组合。
  • 模型超参数优化：网格搜索也是一项模型超参数优化技术，常用于优化三个或更少数量的超参数。对于每个超参数，使用者选择一个较小的有限集去探索，然后这些超参数的笛卡尔乘积得到若干组超参数。网格搜索使用每组超参数训练模型，并挑选验证集误差最小的超参数作为最好的超参数。

总的来说，网格搜索是一种强大的工具，可以在多个维度上搜索最优解，适用于各种领域和问题。
【From 大模型】

2、实战代码

使用网格搜索对随机森林分类模型进行参数寻优：

# -*- coding: utf-8 -*-
"""
Created on Fri May  3 21:55:32 2024

@author: 63454

https://zhuanlan.zhihu.com/p/647588686
"""


from sklearn.model_selection import GridSearchCV  
from sklearn.ensemble import RandomForestClassifier  
from sklearn.datasets import load_wine  
from sklearn.model_selection import train_test_split  
from sklearn.metrics import accuracy_score
import time

  
# 加载数据集  
wine = load_wine()  
X = wine.data  
y = wine.target  
  
# 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=10)  

print("---------------------使用默认参数----------------------------")
# 初始化随机森林分类器  
model = RandomForestClassifier(random_state=99)
# 训练
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
print("默认参数 accuracy:", acc)
  
print("---------------------参数寻优----------------------------")
t1 = time.time()
# 定义参数网格  
param_grid = {  
    'n_estimators': [500, 600, 700, 800], #   range(500, 1000)
    'max_depth': [None, 5, 10, 15, 20],  
    'min_samples_split': [2, 5, 10],  
    'min_samples_leaf': [1, 2, 3, 4, 5, 6, 7, 8],  
    'max_features': ['auto', 'sqrt', 'log2'],  
    'bootstrap': [True, False],  
}  
  
# 初始化随机森林分类器  
model = RandomForestClassifier(random_state=99)  
# 初始化网格搜索对象  
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy', verbose=2)  
# 执行网格搜索  
grid_search.fit(X_train, y_train)  
t2 = time.time()
# 输出最优参数  
print("Best parameters:")  
print()  
print(grid_search.best_params_)
print("time:", t2-t1)

print("---------------------最优模型----------------------------")
model_best_params = grid_search.best_params_
model = grid_search.best_estimator_
# 训练
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
print("最优参数 accuracy:", acc)

终端输出：

[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=600; total time=   0.1s

3、总结

网格搜索（Grid Search）作为一种参数寻优技术，具有其独特的优点和缺点。

优点：

全面搜索：网格搜索是一种全面的搜索策略，能够穷尽所有参数的所有可能组合。这种策略可以确保在设定的参数范围内，找到最优的参数组合，从而达到最佳的效果，避免陷入局部最优解。
直观易懂：网格搜索的方法简单直接，易于理解和实现。它通过遍历所有可能的参数组合来找到最优的超参数集，对于初学者来说，是一种非常直观的超参数调优方法。
适用于参数量较少的情况：在所需设置的参数数目即参数维数较少的情况下，网格搜索算法的运算复杂度往往比较低，同时可以节省时间成本。此外，网格搜索算法可以并行计算，每组参数组合之间是相互独立没有相关联系的，因此可以在一定范围的区间内，从初始位置同时向多个方向出发搜索。

缺点：

计算成本高：网格搜索的主要缺点是计算成本非常高，尤其是当超参数空间很大或者模型训练时间很长时。因为需要尝试大量的参数组合，这会导致搜索时间过长，甚至在某些情况下变得不实际。
可能错过最优参数：网格搜索只能在有限的、预设的参数组合中进行搜索，因此可能会错过最优参数。如果预设的参数空间区域小，或者参数的取值范围设置不当，就有可能导致搜索不到最佳的参数值。
不适用于大规模数据集：对于中等或大规模数据量的搜索问题，网格搜索需要遍历所有参数的所有可能性，这会耗费过多的时间成本，搜索代价高昂。在大多数的设备中，对于几万个待寻优参数，每个参数有数千个候选值的情况，预计需要几天的时间来搜索最佳的参数组合。
因此，在选择是否使用网格搜索进行参数寻优时，需要根据实际问题的特点和需求进行权衡和选择。对于参数空间较小、计算资源充足的情况，网格搜索是一个不错的选择。然而，对于参数空间较大或计算资源有限的情况，可能需要考虑其他更为高效的参数寻优方法，如随机搜索（Random Search）等。

参考：
https://blog.csdn.net/qq_41076797/article/details/102755904
https://zhuanlan.zhihu.com/p/647588686

数据清洗-缺失值填充-随机森林搜寻最优参数填充
qq_63913621的博客
09-15 1156
随机森林 (Random Forest)是一种基于决策树的集成学习方法，由 Leo Breiman 和 Adele Cutler 在 2001 年提出。它通过构建多个决策树来完成分类或回归任务，并利用这些决策树的集成结果来提高模型的准确性和稳定性。随机森林的基本思想是将多个相对较弱的学习器（即决策树）结合起来，从而形成一个强大的集成模型。
如何对XGBoost模型进行参数调优？
cda2024的博客
12-12 1555
在机器学习领域，XGBoost（eXtreme Gradient Boosting）以其卓越的性能和灵活性而闻名，成为许多竞赛和实际应用中的首选模型。然而，要想充分发挥XGBoost的潜力，参数调优是必不可少的一环。本文将深入探讨如何对XGBoost模型进行参数调优，帮助你在实践中提升模型的性能。
机器学习模型训练超参数优化使用sklearn库里网格搜索（Grid Search）方法所有参数含义解释
qq_55433305的博客
02-22 875
RandomizedSearchCV 是 sklearn.model_selection 模块中的一个类，用于在给定的参数空间中随机搜索最佳的超参数组合。相比于 GridSearchCV，RandomizedSearchCV 不会遍历所有可能的参数组合，而是随机选择一部分组合进行评估，因此在参数空间较大时效率更高。
XGBoost模型调参：GridSearchCV方法网格搜索优化参数
qq_44949041的博客
12-31 1万+
GridSearchCV是XGBoost模型最常用的调参方法。本文主要介绍了如何使用GridSearchCV寻找XGBoost的最优参数，有完整的代码和数据文件。文中详细介绍了GridSearchCV的工作原理，param_grid等常用参数；常见的learning_rate和max_depth等可调参数及调参顺序；最后总结了GridSearchCV的缺点及对应的解决方法。
网格搜索参数优化（以 diabetes 数据集为例）
ymengm的博客
04-24 1108
在机器学习过程中通常情况不能一次就得到最优的模型，往往需要多次调整模型的参数才能得到较好的结果。
XGBoost参数调优完全指南（附Python代码）
m0_51221347的博客
06-09 2585
XGBoost参数调优完全指南（附Python代码） 原文地址：Complete Guide to Parameter Tuning in XGBoost (with codes in Python) 译注：文内提供的代码和运行结果有一定差异，可以从这里下载完整代码对照参考...
【数据＋代码】多分类——网格搜索优化超参数
weixin_46287760的博客
06-27 1993
本文涵盖主题：变量分析、数据分析、数据准备与特征工程、KNN-随机森林-SVM三种算法默认参数与网格搜索优化超参数6种方法进行对分类、总结六个部分。
randomforest.zip_randomforest_网格搜索_随机森林_随机森林Python_随机森林调参
07-15
在本项目中，我们重点讨论如何使用Python实现随机森林，并利用网格搜索进行参数调优。 首先，随机森林的工作原理是通过构建多个决策树并取其平均结果（对于分类问题，是多数投票；对于回归问题，是平均值）。每棵树...
python 随机森林分类 DecisionTreeClassifier 随机搜索优化参数 GridSearchCV
weixin_52202527的博客
07-26 3310
python随机森林分类模型随机优化参数学习笔记，内含数据预处理等具体代码。
使用随机森林模型优化的完整 Python 预测项目（包含详细的完整的程序和数据）
10-12
内容概要：介绍了用Python实现一个使用随机森林分类算法的机器学习项目的全流程。详细叙述了数据准备工作，随机森林模型的搭建与训练步骤，对模型表现进行全面评价的同时实施了模型的调参操作来进一步提升效果。最后...
random_forest_鸢尾花_网格调参_RandomForest_random_python鸢尾花网格调参方法_随机森林_
10-02
本示例着重讲解如何使用Python编程语言和sklearn库中的随机森林算法，结合网格搜索（Grid Search）进行参数调优，以优化模型性能。我们将探讨以下几个关键知识点： 1. **随机森林算法**：随机森林是一种包含多个...
基于改进的网格搜索法的SVM参数优化 (2012年)
05-22
比较了现今应用比较广泛的3种支持向量机( SVM)参数优化方法. 具体分析了网格法、遗传算法和粒子群算 法在 SVM参数优化方面的性能以及优缺点,提出了一种改进的网格法. 先在较大范围内进行搜索,在得到的优化结果 附近区域再进行精确搜索. 实验表明改进的网格搜索法耗时短,更适用于有时间要求的说话人识别应用中.
使用Python实现的基于随机森林的回归模型.zip
05-02
这个压缩包文件"使用Python实现的基于随机森林的回归模型.zip"显然包含了一个使用Python编程语言构建的随机森林回归模型的实例。以下是关于随机森林回归、Python编程以及相关技术的详细解释： 1. **随机森林...
利用随机搜索算法对XGBoost分类模型参数寻优
tingyunye的博客
07-25 830
随机搜索算法是一种基于随机采样的参数优化方法，主要用于在给定的参数空间中搜索最优的参数组合。
【Python深度学习系列】网格搜索神经网络超参数：优化器（案例+源码）
数据杂坛
05-23 913
网格搜索神经网络超参数：优化器（案例+源码）
XGBOOST参数调优
xbmatrix的博客
04-04 1636
参考：http://www.cnblogs.com/zhangbojiangfeng/p/6428988.html 1. 简介   如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。  构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就
超参数优化方法之网格优化
LUyan10086的博客
07-04 3193
超参数优化是机器学习中提升模型性能的关键步骤。在众多优化方法中，网格搜索（Grid Search）以其直观和系统性的特点脱颖而出。作为一种穷举搜索策略，网格搜索通过遍历给定参数网格中的所有可能组合，寻找最优的超参数设置。在所有超参数优化的算法当中，枚举网格搜索是最为基础和经典的方法。在搜索开始之前，需要人工将每个超参数的备选值一一列出，多个不同超参数的不同取值之间排列组合，最终将组成一个参数空间（parameter space）。枚举网格搜索算法会将这个参数空间当中所有的参数组合带入模型进行训练，最终选出泛
lightGBM参数解析及其参数调优
热门推荐
qq_39777550的博客
10-25 3万+
lightgbm是xgboost的加强升级版. LightGBM=XGBoost+Histogram+GOSS+EFB 其中，Histogram算法是直方图算法，作用:减少后选分类点的算法 GOSS是基于梯度的单边采样算法，作用减少样本数量 EFB算法是互斥特征捆绑算法，作用是减少特征数量 基于以上三个算法，LightGBM生产一片叶子需要的复杂度大大降低了，从而极大节约了计算时间。同时Histogram算法还将特征浮点数转换成0~255位的证书进行存储，从而集打节约了内存存储空间。 代码举例： impor
随机森林分类任务超参数调优
最新发布
03-14
<think>好的，我现在要解决用户的问题：如何对随机森林分类器进行超参数调优，以及相关的最佳实践。首先，我需要回顾一下随机森林的基本原理和常用的超参数。 随机森林是一种集成学习方法，通过构建多个决策树并结合它们的预测结果来提高模型的准确性和泛化能力。超参数调优对于提升模型性能至关重要，因为不同的参数设置会显著影响模型的表现。 首先，我需要确定随机森林分类器的主要超参数有哪些。根据已有的知识，常见的超参数包括n_estimators（树的数量）、max_depth（树的最大深度）、min_samples_split（分裂内部节点所需的最小样本数）、min_samples_leaf（叶节点所需的最小样本数）、max_features（寻找最佳分割时考虑的特征数量）、bootstrap（是否使用有放回抽样）以及class_weight（处理类别不平衡）等。 接下来，用户需要了解调优的方法和最佳实践。通常，调优方法包括网格搜索、随机搜索和贝叶斯优化等。网格搜索虽然全面但计算成本高，随机搜索更高效，而贝叶斯优化则能更智能地搜索参数空间。最佳实践可能涉及学习曲线的使用，比如通过观察n_estimators对模型性能的影响来确定合适的数值，或者通过特征抽样调整max_features来平衡方差和偏差。 另外，需要注意调参的顺序。例如，先调整n_estimators，再调整树相关的参数如max_depth，然后调整min_samples_split和min_samples_leaf，最后处理max_features和其他参数。同时，处理类别不平衡问题可能需要调整class_weight或采用过采样/欠采样技术。 还要考虑交叉验证，特别是在小数据集上，使用分层K折交叉验证来确保每个类别的样本在训练和验证集中都有足够的代表。此外，特征工程的重要性也不可忽视，比如标准化处理或编码分类变量。 可能会遇到的挑战包括过拟合和欠拟合的识别。例如，如果模型在训练集上表现很好但在验证集上差，可能是过拟合，需要降低模型复杂度（如减小max_depth，增加min_samples_split等）。反之，如果两者表现都差，可能需要增加模型复杂度或调整特征参数。 最后，结合引用中的信息，特别是引用[3]提到的先使用学习曲线判断n_estimators，以及树的超参数调优后进行剪枝，这些都是调优过程中的关键步骤。同时，引用[2]提到的scikit-learn中RF调参的注意事项，需要参考具体的库实现来调整参数，比如在scikit-learn中，分裂准则可能使用基尼不纯度或信息增益，而回归任务可能使用MSE等。 总结起来，我需要将这些步骤结构化，从参数分类、调优方法、最佳实践、代码示例到常见问题，逐一为用户解答，并确保引用相关文献支持建议的可行性。</think>### 随机森林分类器超参数调优方法及最佳实践 #### 一、核心超参数分类 随机森林分类器的超参数可分为两类： 1. **整体框架参数** - $n\_estimators$：决策树数量，默认100。数量越多模型越稳定，但计算成本增加[^3] - $bootstrap$：是否采用有放回抽样，默认True - $class\_weight$：处理类别不平衡问题，可选"balanced"或自定义权重 2. **单棵树参数** - $max\_depth$：树的最大深度，控制模型复杂度 - $min\_samples\_split$：节点分裂所需最小样本数，默认2 - $min\_samples\_leaf$：叶节点最小样本数，默认1 - $max\_features$：寻找最佳分割时的候选特征数，常用$\sqrt{n\_features}$ #### 二、调优方法与工具 $$ \text{调优效果} = f(\text{搜索策略}, \text{参数空间}, \text{评估指标}) $$ 1. **网格搜索(GridSearchCV)** 全参数组合遍历，适合小参数空间 2. **随机搜索(RandomizedSearchCV)** 随机采样参数组合，效率更高[^1] 3. **贝叶斯优化** 通过概率代理模型引导搜索，适合高维参数空间 #### 三、最佳实践流程 1. **基础设置** ```python from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score # 初始化基线模型 base_model = RandomForestClassifier(random_state=42) print("基准准确率:", cross_val_score(base_model, X, y, cv=5).mean()) ``` 2. **分阶段调优策略** - 第一阶段：确定树的数量 ```python param_grid = {'n_estimators': [50, 100, 200, 300]} ``` ![学习曲线示例](https://via.placeholder.com/400x200?text=n_estimators+学习曲线) - 第二阶段：调整树复杂度 ```python tree_params = { 'max_depth': [None, 5, 10], 'min_samples_split': [2, 5, 10] } ``` - 第三阶段：优化特征抽样 ```python feature_params = { 'max_features': ['sqrt', 'log2', 0.5] } ``` 3. **关键调优技巧** - 使用早停法：当增加$n\_estimators$验证分数不再提升时停止 - 并行计算：设置`n_jobs=-1`利用多核加速 - 内存优化：设置`max_samples=0.8`控制抽样比例 #### 四、特殊场景处理 1. **类别不平衡问题** ```python param_grid.update({ 'class_weight': [None, 'balanced', {0:1, 1:5}] }) ``` 2. **高维稀疏数据** - 降低$max\_features$值（如0.2） - 增加$min\_samples\_leaf$（如5） #### 五、验证与评估 $$ \text{F1-score} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} $$ 建议使用分层交叉验证，特别关注： - 混淆矩阵分析 - ROC-AUC曲线 - 特征重要性排序[^4] #### 六、完整代码示例 ```python from sklearn.model_selection import RandomizedSearchCV final_params = { 'n_estimators': [200, 300, 400], 'max_depth': [None, 10, 20], 'min_samples_split': [2, 5], 'max_features': ['sqrt', 0.5] } search = RandomizedSearchCV( RandomForestClassifier(random_state=42), param_distributions=final_params, n_iter=30, scoring='f1_weighted', cv=5, n_jobs=-1 ) search.fit(X_train, y_train) print("最佳参数:", search.best_params_) print("验证分数:", search.best_score_) ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值