【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】

最新推荐文章于 2024-07-04 15:38:21 发布
最新推荐文章于 2024-07-04 15:38:21 发布
阅读量2k 收藏 30
点赞数 26
分类专栏： 智能优化算法和模型参数优化 文章标签： 随机森林 分类 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AugustMe/article/details/138437262
版权

写在前面：
首先感谢兄弟们的订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

路虽远，行则将至；事虽难，做则必成。只要有愚公移山的志气、滴水穿石的毅力，脚踏实地，埋头苦干，积跬步以至千里，就一定能够把宏伟目标变为美好现实。

历史文章回顾：
灰狼优化算法：【智能优化算法】灰狼优化算法【附python实现代码】
白鲸优化算法：【智能优化算法】白鲸优化算法【附python实现代码】
【智能优化算法】粒子群优化KNN分类算法【附python实现代码】
【智能优化算法】粒子群优化随机森林分类算法【附python实现代码】
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】

在这里插入图片描述

1、介绍

网格搜索是一种在多个维度上搜索最优解的方法，主要用于解决多变量问题，特别是寻找极值（包括极小值和极大值）。以下是网格搜索在不同领域的应用和定义：

  • 化学领域：网格搜索被定义为在寻找多变量问题的所有极值中，以固定增量改变每个变量的搜索极值的方法。
    信息技术领域：网格搜索通过建立跨越Web的信息分布和集成应用程序逻辑，利用现有的网络基础设施、协议规范、Web和数据库技术，为用户提供一体化的智能信息平台。这个平台的目标是创建一种基于Internet的新一代信息平台和软件基础设施，实现全面的信息资源共享。
  • 机器学习和模式识别领域：网格搜索算法是一种数学方法，用于确定最优参数组合以实现最佳性能。这种方法的核心思想是通过枚举某个空间中的所有可能解，并以某种评价准则度量各种解，从而寻求最佳解。通常，可以使用函数的参数空间组成一个网格，并在每个网格点处测试样本，然后根据测试得出的性能结果进行比较，最终确定最有效的参数组合。
  • 模型超参数优化：网格搜索也是一项模型超参数优化技术，常用于优化三个或更少数量的超参数。对于每个超参数，使用者选择一个较小的有限集去探索，然后这些超参数的笛卡尔乘积得到若干组超参数。网格搜索使用每组超参数训练模型，并挑选验证集误差最小的超参数作为最好的超参数。

总的来说，网格搜索是一种强大的工具，可以在多个维度上搜索最优解，适用于各种领域和问题。
【From 大模型】

2、实战代码

使用网格搜索对随机森林分类模型进行参数寻优：

# -*- coding: utf-8 -*-
"""
Created on Fri May  3 21:55:32 2024

@author: 63454

https://zhuanlan.zhihu.com/p/647588686
"""


from sklearn.model_selection import GridSearchCV  
from sklearn.ensemble import RandomForestClassifier  
from sklearn.datasets import load_wine  
from sklearn.model_selection import train_test_split  
from sklearn.metrics import accuracy_score
import time

  
# 加载数据集  
wine = load_wine()  
X = wine.data  
y = wine.target  
  
# 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=10)  

print("---------------------使用默认参数----------------------------")
# 初始化随机森林分类器  
model = RandomForestClassifier(random_state=99)
# 训练
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
print("默认参数 accuracy:", acc)
  
print("---------------------参数寻优----------------------------")
t1 = time.time()
# 定义参数网格  
param_grid = {  
    'n_estimators': [500, 600, 700, 800], #   range(500, 1000)
    'max_depth': [None, 5, 10, 15, 20],  
    'min_samples_split': [2, 5, 10],  
    'min_samples_leaf': [1, 2, 3, 4, 5, 6, 7, 8],  
    'max_features': ['auto', 'sqrt', 'log2'],  
    'bootstrap': [True, False],  
}  
  
# 初始化随机森林分类器  
model = RandomForestClassifier(random_state=99)  
# 初始化网格搜索对象  
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy', verbose=2)  
# 执行网格搜索  
grid_search.fit(X_train, y_train)  
t2 = time.time()
# 输出最优参数  
print("Best parameters:")  
print()  
print(grid_search.best_params_)
print("time:", t2-t1)

print("---------------------最优模型----------------------------")
model_best_params = grid_search.best_params_
model = grid_search.best_estimator_
# 训练
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
print("最优参数 accuracy:", acc)

终端输出：

[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=600; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=700; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=2, min_samples_split=10, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=2, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=700; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=3, min_samples_split=10, n_estimators=800; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=700; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=2, n_estimators=800; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=500; total time=   0.5s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=600; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=700; total time=   0.8s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.7s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=5, n_estimators=800; total time=   0.2s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=500; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=600; total time=   0.1s
[CV] END bootstrap=False, max_depth=15, max_features=auto, min_samples_leaf=4, min_samples_split=10, n_estimators=600; total time=   0.1s

3、总结

网格搜索（Grid Search）作为一种参数寻优技术，具有其独特的优点和缺点。

优点：

全面搜索：网格搜索是一种全面的搜索策略，能够穷尽所有参数的所有可能组合。这种策略可以确保在设定的参数范围内，找到最优的参数组合，从而达到最佳的效果，避免陷入局部最优解。
直观易懂：网格搜索的方法简单直接，易于理解和实现。它通过遍历所有可能的参数组合来找到最优的超参数集，对于初学者来说，是一种非常直观的超参数调优方法。
适用于参数量较少的情况：在所需设置的参数数目即参数维数较少的情况下，网格搜索算法的运算复杂度往往比较低，同时可以节省时间成本。此外，网格搜索算法可以并行计算，每组参数组合之间是相互独立没有相关联系的，因此可以在一定范围的区间内，从初始位置同时向多个方向出发搜索。

缺点：

计算成本高：网格搜索的主要缺点是计算成本非常高，尤其是当超参数空间很大或者模型训练时间很长时。因为需要尝试大量的参数组合，这会导致搜索时间过长，甚至在某些情况下变得不实际。
可能错过最优参数：网格搜索只能在有限的、预设的参数组合中进行搜索，因此可能会错过最优参数。如果预设的参数空间区域小，或者参数的取值范围设置不当，就有可能导致搜索不到最佳的参数值。
不适用于大规模数据集：对于中等或大规模数据量的搜索问题，网格搜索需要遍历所有参数的所有可能性，这会耗费过多的时间成本，搜索代价高昂。在大多数的设备中，对于几万个待寻优参数，每个参数有数千个候选值的情况，预计需要几天的时间来搜索最佳的参数组合。
因此，在选择是否使用网格搜索进行参数寻优时，需要根据实际问题的特点和需求进行权衡和选择。对于参数空间较小、计算资源充足的情况，网格搜索是一个不错的选择。然而，对于参数空间较大或计算资源有限的情况，可能需要考虑其他更为高效的参数寻优方法，如随机搜索（Random Search）等。

参考：
https://blog.csdn.net/qq_41076797/article/details/102755904
https://zhuanlan.zhihu.com/p/647588686

机器不学习我学习
关注
专栏目录
数据处理和分析之分类算法：随机森林(RandomForest)：随机森林参数调优
2401_87715305的博客
10-03 1111
网格搜索是一种系统地遍历所有可能的参数组合以找到最佳参数设置的方法。在随机森林中，我们可能需要调整诸如（树的数量）、max_depth（树的最大深度）、（分裂内部节点所需的最小样本数）等参数。网格搜索通过创建一个参数网格，然后在该网格上进行交叉验证，以确定最佳参数组合。随机搜索与网格搜索类似，但不是遍历所有参数组合，而是从参数分布中随机选择参数组合进行评估。这种方法在参数空间较大时更为高效，因为它避免了不必要的计算，尤其是在参数之间没有显著交互效应的情况下。
机器学习网格搜索寻找最优参数
liujing319的专栏
07-11 5882
整理一下前阶段复习的关于网格搜索的知识： 程序及数据 请到github 上 下载GridSearch练习 网格搜索是将训练集训练的一堆模型中，选取超参数的所有值（或者代表性的几个值），将这些选取的参数及值全部列出一个表格，并分别将其进行模拟，选出最优模型。 上面是数据集的可视化分布图，具体代码如下： %matplotlib inline import pandas as pd impo...
超参数优化方法之网格优化
LUyan10086的博客
07-04 2001
超参数优化是机器学习中提升模型性能的关键步骤。在众多优化方法中，网格搜索（Grid Search）以其直观和系统性的特点脱颖而出。作为一种穷举搜索策略，网格搜索通过遍历给定参数网格中的所有可能组合，寻找最优的超参数设置。在所有超参数优化的算法当中，枚举网格搜索是最为基础和经典的方法。在搜索开始之前，需要人工将每个超参数的备选值一一列出，多个不同超参数的不同取值之间排列组合，最终将组成一个参数空间（parameter space）。枚举网格搜索算法会将这个参数空间当中所有的参数组合带入模型进行训练，最终选出泛
使用网格搜索优化模型参数
a706769817的博客
06-03 3551
1.简单网格搜索法 Lasso算法中不同的参数调整次数 ############################# 使用网格搜索优化模型参数 ####################################### #导入套索回归模型 from sklearn.linear_model import Lasso #导入数据集拆分工具 from skle...
XGBoost模型调参：GridSearchCV方法网格搜索优化参数
qq_44949041的博客
12-31 1万+
GridSearchCV是XGBoost模型最常用的调参方法。本文主要介绍了如何使用GridSearchCV寻找XGBoost的最优参数，有完整的代码和数据文件。文中详细介绍了GridSearchCV的工作原理，param_grid等常用参数；常见的learning_rate和max_depth等可调参数及调参顺序；最后总结了GridSearchCV的缺点及对应的解决方法。
网格搜索参数优化（以 diabetes 数据集为例）
ymengm的博客
04-24 1029
在机器学习过程中通常情况不能一次就得到最优的模型，往往需要多次调整模型的参数才能得到较好的结果。
XGBoost参数调优完全指南（附Python代码）
m0_51221347的博客
06-09 2156
XGBoost参数调优完全指南（附Python代码） 原文地址：Complete Guide to Parameter Tuning in XGBoost (with codes in Python) 译注：文内提供的代码和运行结果有一定差异，可以从这里下载完整代码对照参考...
【数据＋代码】多分类——网格搜索优化超参数
weixin_46287760的博客
06-27 1624
本文涵盖主题：变量分析、数据分析、数据准备与特征工程、KNN-随机森林-SVM三种算法默认参数与网格搜索优化超参数6种方法进行对分类、总结六个部分。
randomforest.zip_randomforest_网格搜索_随机森林_随机森林Python_随机森林调参
07-15
在本项目中，我们重点讨论如何使用Python实现随机森林，并利用网格搜索进行参数调优。 首先，随机森林的工作原理是通过构建多个决策树并取其平均结果（对于分类问题，是多数投票；对于回归问题，是平均值）。每棵树...
使用随机森林模型优化的完整 Python 预测项目（包含详细的完整的程序和数据）
最新发布
10-12
内容概要：介绍了用Python实现一个使用随机森林分类算法的机器学习项目的全流程。详细叙述了数据准备工作，随机森林模型的搭建与训练步骤，对模型表现进行全面评价的同时实施了模型的调参操作来进一步提升效果。最后...
基于改进的网格搜索法的SVM参数优化 (2012年)
05-22
比较了现今应用比较广泛的3种支持向量机( SVM)参数优化方法. 具体分析了网格法、遗传算法和粒子群算 法在 SVM参数优化方面的性能以及优缺点,提出了一种改进的网格法. 先在较大范围内进行搜索,在得到的优化结果 附近区域再进行精确搜索. 实验表明改进的网格搜索法耗时短,更适用于有时间要求的说话人识别应用中.
random_forest_鸢尾花_网格调参_RandomForest_random_python鸢尾花网格调参方法_随机森林_
10-02
本示例着重讲解如何使用Python编程语言和sklearn库中的随机森林算法，结合网格搜索（Grid Search）进行参数调优，以优化模型性能。我们将探讨以下几个关键知识点： 1. **随机森林算法**：随机森林是一种包含多个...
使用Python实现的基于随机森林的回归模型.zip
05-02
这个压缩包文件"使用Python实现的基于随机森林的回归模型.zip"显然包含了一个使用Python编程语言构建的随机森林回归模型的实例。以下是关于随机森林回归、Python编程以及相关技术的详细解释： 1. **随机森林...
随机森林模型超参数优化：Python实现
ByteBuster的博客
09-21 401
接下来，我们需要定义超参数的搜索空间。随机森林模型有多个重要的超参数，例如决策树数量（n_estimators）、最大特征数（max_features）和树的最大深度（max_depth）等。首先，我们需要导入所需的Python库，包括scikit-learn库用于构建和训练随机森林模型，以及pandas库用于数据处理。GridSearchCV会对给定的超参数组合进行交叉验证，并选择使模型性能最佳的超参数组合。在完成超参数优化后，我们可以使用最佳超参数组合来构建随机森林模型，并对测试数据进行预测和评估。
【Python深度学习系列】网格搜索神经网络超参数：优化器（案例+源码）
数据杂坛
05-23 740
网格搜索神经网络超参数：优化器（案例+源码）
XGBOOST参数调优
xbmatrix的博客
04-04 1569
参考：http://www.cnblogs.com/zhangbojiangfeng/p/6428988.html 1. 简介   如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。  构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就
lightGBM参数解析及其参数调优
热门推荐
qq_39777550的博客
10-25 2万+
lightgbm是xgboost的加强升级版. LightGBM=XGBoost+Histogram+GOSS+EFB 其中，Histogram算法是直方图算法，作用:减少后选分类点的算法 GOSS是基于梯度的单边采样算法，作用减少样本数量 EFB算法是互斥特征捆绑算法，作用是减少特征数量 基于以上三个算法，LightGBM生产一片叶子需要的复杂度大大降低了，从而极大节约了计算时间。同时Histogram算法还将特征浮点数转换成0~255位的证书进行存储，从而集打节约了内存存储空间。 代码举例： impor
通过libsvm-mat的网格参数寻优函数的调用，查找最优惩罚参数和核函数参数值。具体代码怎么操作？
04-05
以下是使用libsvm-matlab的网格参数寻优函数进行参数调优的示例代码： 1. 导入数据并进行预处理： ```matlab % 导入数据 data = load('data.mat'); x = data.x; y = data.y; % 对数据进行归一化处理 [x, ~, ~] = zscore(x); ``` 2. 建立模型并进行网格参数寻优： ```matlab % 设置参数搜索范围 c_range = 2.^[-5:5]; g_range = 2.^[-5:5]; % 进行网格参数寻优 bestcv = 0; for log2c = c_range for log2g = g_range cmd = ['-q -c ', num2str(2^log2c), ' -g ', num2str(2^log2g)]; cv = svmtrain(y, x, cmd); if (cv >= bestcv) bestcv = cv; bestc = 2^log2c; bestg = 2^log2g; end end end % 输出最优参数值 fprintf('Best CV accuracy = %g%%\n', bestcv * 100); fprintf('Best C = %g, Best gamma = %g\n', bestc, bestg); ``` 在上述代码中，设置了惩罚参数C和核函数参数gamma的搜索范围，并使用svmtrain函数进行模型训练和交叉验证，通过比较不同参数组合下的交叉验证精度，找到最优的参数组合。最终输出最优的惩罚参数C和核函数参数gamma的值。 需要注意的是，在进行网格参数寻优时，需要保证训练数据的规模足够大，否则可能会出现过拟合的情况。同时，由于网格参数寻优的计算量较大，建议使用较快的计算机或并行计算来加速计算过程。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值