【模型参数优化】随机搜索对随机森林分类模型进行参数寻优【附python实现代码】

最新推荐文章于 2024-05-29 09:48:49 发布
最新推荐文章于 2024-05-29 09:48:49 发布
阅读量1.4k 收藏 26
点赞数 28
分类专栏： 智能优化算法和模型参数优化 文章标签： 随机森林 分类 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AugustMe/article/details/138439811
版权

写在前面：
首先感谢兄弟们的订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。

路虽远，行则将至；事虽难，做则必成。只要有愚公移山的志气、滴水穿石的毅力，脚踏实地，埋头苦干，积跬步以至千里，就一定能够把宏伟目标变为美好现实。

历史文章回顾：
灰狼优化算法：【智能优化算法】灰狼优化算法【附python实现代码】
白鲸优化算法：【智能优化算法】白鲸优化算法【附python实现代码】
【智能优化算法】粒子群优化KNN分类算法【附python实现代码】
【智能优化算法】粒子群优化随机森林分类算法【附python实现代码】
【智能优化算法】粒子群优化LightGBM分类算法【附python实现代码】
【模型参数优化】网格搜索对随机森林分类模型进行参数寻优【附python实现代码】

在这里插入图片描述

1、介绍

随机搜索（random search）是一种利用随机数求极小点来求得函数近似的最优解的方法。在变量允许的变化区间内，算法会不断随机地而非有倾向性地产生随机点，并计算这些点的约束函数和目标函数的值。对于满足约束条件的点，算法会逐个比较其目标函数的值，将表现较差的点抛弃，保留表现较好的点，最终得到最优解的近似解。

随机搜索算法是建立在概率论的基础上的，所取随机点越多，得到最优解的概率也就越大。由于其简单性和通用性，随机搜索算法可以用于各种不同类型的问题，包括优化问题、组合问题和约束问题等。例如，在优化问题中，随机搜索算法可以用于寻找最小值或最大值；在组合问题中，如旅行商问题，随机搜索算法可以用于找到旅行的最短路径；在约束问题中，如最大流问题，随机搜索算法可以用于找到最大的流量总和。

然而，随机搜索算法也存在一些缺点。首先，它可能会陷入局部最优解而无法找到全局最优解。其次，它的收敛速度较慢，相比其他优化算法需要更多的时间和计算资源。此外，随机搜索算法的性能高度依赖于初始解决方案的选择，如果初始解选择不当，可能会导致算法无法找到最优解。在处理高维超参数空间时，随机搜索算法也容易陷入低效的情况，因为它可能需要很多次采样才能找到最优的超参数组合。同时，随机搜索模型假设超参数之间是相互独立的，这可能会导致一些组合不合理的超参数被选中，从而影响优化的效果。

常用的随机搜索方法包括随机跳跃法和随机走步法等。这些方法通过随机地生成新的解，并在满足一定条件的情况下接受这些解来逼近最优解。在实际应用中，可以根据问题的具体性质和需求选择适合的随机搜索方法。
【From 大模型】

2、实战代码

使用随机搜索对随机森林分类模型进行参数寻优：

# -*- coding: utf-8 -*-
"""
Created on Fri May  3 21:55:32 2024

@author: 63454

https://zhuanlan.zhihu.com/p/647588686
"""


from sklearn.model_selection import GridSearchCV  
from sklearn.ensemble import RandomForestClassifier  
from sklearn.datasets import load_wine  
from sklearn.model_selection import train_test_split  
from sklearn.metrics import accuracy_score
import time

  
# 加载数据集  
wine = load_wine()  
X = wine.data  
y = wine.target  
  
# 划分训练集和测试集  
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=10)  

print("---------------------使用默认参数----------------------------")
# 初始化随机森林分类器  
model = RandomForestClassifier(random_state=99)
# 训练
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
print("默认参数 accuracy:", acc)
  
print("---------------------参数寻优----------------------------")
t1 = time.time()
# 定义参数网格  
param_grid = {  
    'n_estimators': [500, 600, 700, 800], #   range(500, 1000)
    'max_depth': [None, 5, 10, 15, 20],  
    'min_samples_split': [2, 5, 10],  
    'min_samples_leaf': [1, 2, 3, 4, 5, 6, 7, 8],  
    'max_features': ['auto', 'sqrt', 'log2'],  
    'bootstrap': [True, False],  
}  
  
# 初始化随机森林分类器  
model = RandomForestClassifier(random_state=99)  
# 初始化网格搜索对象  
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, scoring='accuracy', verbose=2)  
# 执行网格搜索  
grid_search.fit(X_train, y_train)  
t2 = time.time()
# 输出最优参数  
print("Best parameters:")  
print()  
print(grid_search.best_params_)
print("time:", t2-t1)

print("---------------------最优模型----------------------------")
model_best_params = grid_search.best_params_
model = grid_search.best_estimator_
# 训练
model.fit(X_train, y_train)
# 预测
y_pred = model.predict(X_test)
acc = accuracy_score(y_test, y_pred)
print("最优参数 accuracy:", acc)

终端输出：

[CV] END bootstrap=True, max_depth=None, max_features=sqrt, min_samples_leaf=5, min_samples_split=5, n_estimators=629; total time=   0.2s
[CV] END bootstrap=True, max_depth=None, max_features=sqrt, min_samples_leaf=5, min_samples_split=5, n_estimators=629; total time=   0.2s
[CV] END bootstrap=True, max_depth=None, max_features=sqrt, min_samples_leaf=5, min_samples_split=5, n_estimators=629; total time=   0.2s
[CV] END bootstrap=True, max_depth=None, max_features=sqrt, min_samples_leaf=5, min_samples_split=5, n_estimators=629; total time=   0.2s
[CV] END bootstrap=True, max_depth=None, max_features=auto, min_samples_leaf=7, min_samples_split=5, n_estimators=129; total time=   0.0s
[CV] END bootstrap=True, max_depth=None, max_features=auto, min_samples_leaf=7, min_samples_split=5, n_estimators=129; total time=   0.0s
[CV] END bootstrap=True, max_depth=None, max_features=auto, min_samples_leaf=7, min_samples_split=5, n_estimators=129; total time=   0.0s
[CV] END bootstrap=True, max_depth=None, max_features=auto, min_samples_leaf=7, min_samples_split=5, n_estimators=129; total time=   0.0s
[CV] END bootstrap=True, max_depth=None, max_features=auto, min_samples_leaf=7, min_samples_split=5, n_estimators=129; total time=   0.0s
[CV] END bootstrap=True, max_depth=10, max_features=log2, min_samples_leaf=8, min_samples_split=10, n_estimators=1986; total time=   0.9s
[CV] END bootstrap=True, max_depth=10, max_features=log2, min_samples_leaf=8, min_samples_split=10, n_estimators=1986; total time=   0.9s
[CV] END bootstrap=True, max_depth=10, max_features=log2, min_samples_leaf=8, min_samples_split=10, n_estimators=1986; total time=   0.8s
[CV] END bootstrap=True, max_depth=10, max_features=log2, min_samples_leaf=8, min_samples_split=10, n_estimators=1986; total time=   0.9s
[CV] END bootstrap=True, max_depth=10, max_features=log2, min_samples_leaf=8, min_samples_split=10, n_estimators=1986; total time=   0.9s
[CV] END bootstrap=False, max_depth=15, max_features=sqrt, min_samples_leaf=6, min_samples_split=10, n_estimators=1855; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=sqrt, min_samples_leaf=6, min_samples_split=10, n_estimators=1855; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=sqrt, min_samples_leaf=6, min_samples_split=10, n_estimators=1855; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=sqrt, min_samples_leaf=6, min_samples_split=10, n_estimators=1855; total time=   0.6s
[CV] END bootstrap=False, max_depth=15, max_features=sqrt, min_samples_leaf=6, min_samples_split=10, n_estimators=1855; total time=   0.6s
[CV] END bootstrap=False, max_depth=20, max_features=sqrt, min_samples_leaf=1, min_samples_split=2, n_estimators=827; total time=   0.2s
[CV] END bootstrap=False, max_depth=20, max_features=sqrt, min_samples_leaf=1, min_samples_split=2, n_estimators=827; total time=   0.2s
[CV] END bootstrap=False, max_depth=20, max_features=sqrt, min_samples_leaf=1, min_samples_split=2, n_estimators=827; total time=   0.2s
[CV] END bootstrap=False, max_depth=20, max_features=sqrt, min_samples_leaf=1, min_samples_split=2, n_estimators=827; total time=   0.2s
[CV] END bootstrap=False, max_depth=20, max_features=sqrt, min_samples_leaf=1, min_samples_split=2, n_estimators=827; total time=   0.2s
[CV] END bootstrap=False, max_depth=5, max_features=log2, min_samples_leaf=6, min_samples_split=10, n_estimators=1316; total time=   0.4s
[CV] END bootstrap=False, max_depth=5, max_features=log2, min_samples_leaf=6, min_samples_split=10, n_estimators=1316; total time=   0.4s
[CV] END bootstrap=False, max_depth=5, max_features=log2, min_samples_leaf=6, min_samples_split=10, n_estimators=1316; total time=   0.4s
[CV] END bootstrap=False, max_depth=5, max_features=log2, min_samples_leaf=6, min_samples_split=10, n_estimators=1316; total time=   0.4s
[CV] END bootstrap=False, max_depth=5, max_features=log2, min_samples_leaf=6, min_samples_split=10, n_estimators=1316; total time=   0.4s
Best parameters:

{'n_estimators': 868, 'min_samples_split': 2, 'min_samples_leaf': 7, 'max_features': 'auto', 'max_depth': 5, 'bootstrap': False}
time: 27.28244972229004
---------------------最优模型----------------------------
最优参数 accuracy: 0.8888888888888888

3、总结

随机搜索（Random Search）作为一种优化方法，具有其独特的优点和缺点。以下是随机搜索的主要优缺点：

优点：

  • 简单性：随机搜索的实现非常简单，不需要复杂的数学推导或梯度计算。
  • 全局性：由于搜索是随机的，随机搜索能够探索整个搜索空间，而不仅仅是局部区域，因此它有可能找到全局最优解，而不仅仅是局部最优解。
  • 灵活性：随机搜索对问题的具体形式没有严格要求，可以应用于连续空间或离散空间，以及有约束或无约束的优化问题。
  • 并行性：随机搜索可以很容易地并行化，通过同时评估多个随机样本，可以显著提高搜索效率。

缺点：

  • 计算效率：相比于其他更复杂的优化算法（如梯度下降、遗传算法等），随机搜索的计算效率通常较低。因为它需要评估大量的随机样本，其中很多样本可能并不接近最优解。
  • 收敛速度：随机搜索的收敛速度较慢。它可能需要大量的迭代次数才能找到接近最优解的参数组合。
  • 精度问题：由于随机搜索的随机性，它可能无法找到精确的最优解，而只能找到接近最优解的近似解。
  • 资源消耗：当搜索空间非常大或目标函数评估代价很高时，随机搜索可能会消耗大量的计算资源。
  • 对初始条件的敏感性：虽然随机搜索具有全局搜索能力，但它的性能仍然受到初始条件的影响。如果初始搜索点远离最优解，那么可能需要更多的迭代次数才能找到接近最优解的参数组合。
  • 缺乏方向性：随机搜索没有明确的搜索方向，它完全依赖于随机性来探索搜索空间。这可能导致搜索过程缺乏方向性，从而增加了找到最优解的难度。

综上所述，随机搜索作为一种优化方法具有其独特的优点和缺点。在实际应用中，需要根据问题的具体特点和需求来选择合适的优化方法。

参考：
https://blog.csdn.net/qq_41076797/article/details/102755904
https://zhuanlan.zhihu.com/p/647588686

机器不学习我学习
关注
  • 28
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
随机森林算法的超参数调优策略
禅与计算机程序设计艺术
06-15 472
随机森林(Random Forest)是一种基于决策树的集成学习算法,通过构建多棵决策树并将它们的预测结果进行组合来实现分类或回归任务。随机森林具有较高的准确性、鲁棒性和泛化能力,广泛应用于各个领域。随机森林算法凭借其优异的性能和鲁棒性,已成为机器学习领域的重要工具之一。算法改进:如何进一步提高随机森林的性能和效率,如何更好地处理高维、稀疏、不平衡等复杂数据超参数优化:如何更高效、自动化地搜索最优超参数组合,如何权衡计算成本和模型性能。
机器学习—模型超参数调优之网格搜索与随机搜索
柳杰的博客
03-16 5043
文章目录引言1.网格搜索GridSearchCV()2.随机搜索GridSearchCV()3.总结 引言   不同的超参数的值对于模型的性能有不同的影响,我们需要找到的就是使得模型性能最佳的超参数。 1.网格搜索GridSearchCV()   网格搜索的思想非常简单，比如你有2个超参数需要去选择，那你就把所有的超参数选择列出来分别做排列组合。举个例子： ????=0.01,0.1,1.0 和 ????=0.01,0.1,1.0 ,你可以做一个排列组合，即：{[0.01,0.01],[0.01,0.1],
SVM中参数调优的方法
热门推荐
Miracle.Zhao的博客
03-28 2万+
最近在用到svm做一些科研的工作，但是在用到svm的时候，发现在不同的svm参数下，精度差别不是一般的大。 熟悉svm的大家应该都知道，svm中参数很多，其中最主要得还是-c和-g参数，所以我就主要 调整这两个参数。 所以，找找怎么调整合适的参数，已达到最高的精度，如下： 是我亲测的两个可以很大情况下提高精度的参数值， 第一种： [c,g] = meshgrid(-
随机森林超参数的网格优化（机器学习的精华--调参）
asddoa的博客
01-31 2826
因此我们可以选择转折点或转折点附近的n_estimators取值，例如20。不难发现，网格搜索之后的模型过拟合程度减轻，且在训练集与测试集上的结果都有提高，可以说从根本上提升了模型的基础能力。我们还可以根据网格的结果继续尝试进行其他调整，来进一步降低模型在测试集上的RMSE。因此n_estimators的参数空间可以被确定为range(20,100,5)，如果你比较保守，甚至可以确认为是range(15,25,5)。可以通过对上述属性的调用查看当前模型每一棵树的各个属性，对我们对于参数范围的选择给予帮助。
随机搜索算法：随机搜索属于随机优化和全局优化领域。-matlab开发
05-30
随机搜索属于随机优化和全局领域优化。 随机搜索是一种直接搜索方法，因为它不需要导数来搜索连续域。 这种基本方法是与提供小改进的技术相关，例如 Directed 随机搜索和自适应随机搜索。
svm寻参matlab,Matlab的SVM分类寻找最优参数问题
weixin_39522927的博客
03-20 608
English:libsvm_options:-s svm_type : set type of SVM (default 0)0 -- C-SVC1 -- nu-SVC2 -- one-class SVM3 -- epsilon-SVR4 -- nu-SVR-t kernel_type : set type of kernel function (default 2)0 -- linear: u...
顺序检索和随机检索
哆啦A梦~~
04-28 1万+
顺序查找  编辑 顺序查找是在一个已知无(或有序）序队列中找出与给定关键字相同的数的具体位置。原理是让关键字与队列中的数从最后一个开始逐个比较，直到找出与给定关键字相同的数为止，它的缺点是效率低下。   随机搜索 随机搜索（random search）是利用随机数求极小点而求得函数近似的最优解的方法。 变量允许的变化区间，不断随机地而不是有倾向性产生随机点，并计算其约束函数和目标函数的...
使用遗传算法和差分进化算法对SVM模型参数进行寻优
qq_49370210的博客
11-26 900
遗传算法通过选择、交叉和变异的操作来操作这些染色体，生成新的参数组合。遗传算法（Genetic Algorithm，GA）和差分进化算法（Differential Evolution，DE）都是优化算法，可以用于搜索和优化参数空间以寻找支持向量机（Support Vector Machine，SVM）模型的最佳参数。对于SVM参数优化，DE也可以将SVM的参数编码成个体，并通过差分变异等操作来生成新的参数组合。DE通常通过随机选择种群中的个体来形成新的个体，并通过变异和交叉操作来产生新的参数组合。
【机器学习系列】掌握随机森林：从基础原理到参数优化的全面指南
最新发布
2301_81199775的博客
05-29 1239
本文旨在为读者提供一份关于随机森林算法的详尽指南，从模型的基本原理出发，探讨其优势，并指导如何在实际数据集上应用该模型。首先，我们将介绍随机森林的工作机制，包括它如何通过集成多个决策树来提高预测准确性和防止过拟合。接着，文章将展示如何导入数据集，并进行必要的数据预处理，例如独热编码转换，以准备数据用于训练模型。此外，我们还将讨论如何选择特征和标签，以及如何导入并实例化随机森林模块。最后，本文将重点介绍如何使用网格搜索法来查找最优参数，确保模型达到最佳性能。
Python随机森林分类器代码实现
01-20
Python随机森林分类器是一种强大的机器学习工具，常用于分类任务。它是由多个决策树组成的集成模型，每个树都对数据进行预测，最终的结果是所有树预测结果的投票或平均。这个概念是基于“森林”中的“多棵树比一棵树...
SVM的参数优化问题
03-22
SVM的参数优化问题，对比随机参数与优化后的参数对网络性能的影响
使用Python实现的基于随机森林的回归模型.zip
05-02
这个压缩包文件"使用Python实现的基于随机森林的回归模型.zip"显然包含了一个使用Python编程语言构建的随机森林回归模型的实例。以下是关于随机森林回归、Python编程以及相关技术的详细解释： 1. **随机森林...
基于Python实现的使用随机森林+条件随机场实现的中文韵律预测模型.zip
05-02
在训练过程中，可能需要调整模型参数，如随机森林的树的数量、CRF的迭代次数等，以达到最佳性能。 通过这个模型，可以预测中文文本的韵律模式，这对于语音合成、语音识别、诗歌生成等应用有重要意义。例如，在语音...
基于python实现的随机森林（python代码）
05-17
随机森林还有许多可调整的参数，如`n_estimators`(树的数量)，`max_features`(用于分裂节点的特征数量)，`min_samples_split`(分裂节点所需的最小样本数)，以及`max_depth`(树的最大深度)等，这些参数可以通过实验...
随机森林介绍和 python代码算法实现
02-03
# 创建随机森林分类器 clf = RandomForestClassifier(n_estimators=100, random_state=42) # 训练模型 clf.fit(X_train, y_train) # 预测测试集结果 y_pred = clf.predict(X_test) # 输出分类准确率 print(...
综合优化的随机搜索策略: 从随机走样到熵最大化
禅与计算机程序设计艺术
01-07 459
1.背景介绍 随机搜索策略(Random Search)是一种常用的优化算法，它主要通过随机地生成候选解，并根据目标函数的值来评估和选择最佳的候选解。随机搜索策略的主要优点是简单易行，但其主要缺点是无法保证找到全局最优解，而且可能需要大量的计算资源。 在本文中，我们将介绍一种综合优化的随机搜索策略，即从随机走样到熵最大化。这种策略通过引入熵概念，可以在保持简单易行的同时，提高搜索策略的效率和准...
python-autosklearn-randomsearch
qq_35358021的博客
06-18 499
import sklearn.model_selection import sklearn.datasets import sklearn.metrics from smac.facade.roar_facade import ROAR from smac.scenario.scenario import Scenario import autosklearn.classification ...
[work] 算法学习笔记 （爬山法，模拟退火算法，遗传算法）
This is bill的专属博客
10-08 1094
转载自 http://blog.csdn.net/bcj296050240/article/details/50839806 侵删 在优化问题中，有两个关键点 代价函数 确定问题的形式和规模之后，根据不同的问题，选择要优化的目标。如本文涉及的两个问题中，一个优化目标是使得航班选择最优，共计12个航班，要使得总的票价最少且每个人的等待时间之和最小。第二个问题是学生选择宿舍的问题，每个学生可以实...
随机森林分类模型python代码
03-08
随机森林是一种集成学习算法，它由多个决策树组成，通过投票或平均的方式来进行分类。在Python中，可以使用scikit-learn库来实现随机森林分类模型。下面是一个简单的示例代码： ```python # 导入所需的库 from sklearn.ensemble import RandomForestClassifier from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载数据集 iris = load_iris() X = iris.data y = iris.target # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建随机森林分类器 rf_classifier = RandomForestClassifier(n_estimators=100, random_state=42) # 训练模型 rf_classifier.fit(X_train, y_train) # 预测测试集 y_pred = rf_classifier.predict(X_test) # 计算准确率 accuracy = accuracy_score(y_test, y_pred) print("准确率：", accuracy) ``` 这段代码首先导入了所需的库，包括`RandomForestClassifier`用于创建随机森林分类器，`load_iris`用于加载鸢尾花数据集，`train_test_split`用于划分训练集和测试集，以及`accuracy_score`用于计算准确率。 接下来，代码加载了鸢尾花数据集，并将特征数据赋值给`X`，目标数据赋值给`y`。 然后，使用`train_test_split`函数将数据集划分为训练集和测试集，其中`test_size=0.2`表示将20%的数据作为测试集。 接着，创建了一个随机森林分类器对象`rf_classifier`，并设置了参数`n_estimators=100`表示使用100个决策树构建随机森林。 然后，使用训练集数据和目标数据来训练模型，调用`fit`方法。 接下来，使用训练好的模型对测试集进行预测，调用`predict`方法。 最后，使用`accuracy_score`函数计算预测结果的准确率，并打印出来。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

机器不学习我学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值