机器学习之网格搜索调参sklearn

最新推荐文章于 2023-10-30 11:41:12 发布
最新推荐文章于 2023-10-30 11:41:12 发布
阅读量1.6k 收藏 10
点赞数 2
分类专栏： 机器学习理论学习 文章标签： sklearn 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44386182/article/details/127161644
版权

 网格搜索

网格搜索 GridSearchCV我们在选择超参数有两个途径：1凭经验；2选择不同大小的参数，带入到模型中，挑选表现最好的参数。通过途径2选择超参数时，人力手动调节注意力成本太高，非常不值得。For循环或类似于for循环的方法受限于太过分明的层次，不够简洁与灵活，注意力成本高，易出错。GridSearchCV 称为网格搜索交叉验证调参，它通过遍历传入的参数的所有排列组合，通过交叉验证的方式，返回所有参数组合下的评价指标得分。

GridSearchCV听起来很高大上，其实就是暴力搜索。注意的是，该方法在小数据集上很有用，数据集大了就不太适用了。

from sklearn.metrics import roc_auc_score
import warnings
warnings.filterwarnings("ignore")
from sklearn.datasets import load_iris  # 自带的样本数据集


iris = load_iris()

X = iris.data  # 150个样本，4个属性
y = iris.target # 150个类标号
# 以随机森林为例介绍基本调用方法

# 穷举网格搜索
from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split  # 切分数据
# 切分数据 训练数据80% 验证数据20%
train_data, test_data, train_target, test_target = train_test_split(
    X, y, test_size=0.2, random_state=0)

model = RandomForestClassifier()
parameters = {'n_estimators': [20, 50, 100], 'max_depth': [1, 2, 3]}

clf = GridSearchCV(model, parameters, cv=3, verbose=2)
clf.fit(train_data, train_target)

print("最优参数:")
print(clf.best_params_)
print("最优分数:")
print(clf.best_score_)
sorted(clf.cv_results_.keys())

score_test = roc_auc_score(test_target, clf.predict_proba(test_data), multi_class='ovr')

print("RandomForestClassifier GridSearchCV test AUC:   ", score_test)
D:\anaconda\python.exe C:/Users/Administrator/Desktop/数据挖掘项目/代码包测试集/网格搜索调参.py
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
Fitting 3 folds for each of 9 candidates, totalling 27 fits
[CV] max_depth=1, n_estimators=20 ....................................
[Parallel(n_jobs=1)]: Done   1 out of   1 | elapsed:    0.0s remaining:    0.0s
[CV] ..................... max_depth=1, n_estimators=20, total=   0.0s
[CV] max_depth=1, n_estimators=20 ....................................
[CV] ..................... max_depth=1, n_estimators=20, total=   0.0s
[CV] max_depth=1, n_estimators=20 ....................................
[CV] ..................... max_depth=1, n_estimators=20, total=   0.0s
[CV] max_depth=1, n_estimators=50 ....................................
[CV] ..................... max_depth=1, n_estimators=50, total=   0.1s
[CV] max_depth=1, n_estimators=50 ....................................
[CV] ..................... max_depth=1, n_estimators=50, total=   0.1s
[CV] max_depth=1, n_estimators=50 ....................................
[CV] ..................... max_depth=1, n_estimators=50, total=   0.1s
[CV] max_depth=1, n_estimators=100 ...................................
[CV] .................... max_depth=1, n_estimators=100, total=   0.1s
[CV] max_depth=1, n_estimators=100 ...................................
[CV] .................... max_depth=1, n_estimators=100, total=   0.1s
[CV] max_depth=1, n_estimators=100 ...................................
[CV] .................... max_depth=1, n_estimators=100, total=   0.1s
[CV] max_depth=2, n_estimators=20 ....................................
[CV] ..................... max_depth=2, n_estimators=20, total=   0.0s
[CV] max_depth=2, n_estimators=20 ....................................
[CV] ..................... max_depth=2, n_estimators=20, total=   0.0s
[CV] max_depth=2, n_estimators=20 ....................................
[CV] ..................... max_depth=2, n_estimators=20, total=   0.0s
[CV] max_depth=2, n_estimators=50 ....................................
[CV] ..................... max_depth=2, n_estimators=50, total=   0.1s
[CV] max_depth=2, n_estimators=50 ....................................
[CV] ..................... max_depth=2, n_estimators=50, total=   0.1s
[CV] max_depth=2, n_estimators=50 ....................................
[CV] ..................... max_depth=2, n_estimators=50, total=   0.1s
[CV] max_depth=2, n_estimators=100 ...................................
[CV] .................... max_depth=2, n_estimators=100, total=   0.1s
[CV] max_depth=2, n_estimators=100 ...................................
[CV] .................... max_depth=2, n_estimators=100, total=   0.1s
[CV] max_depth=2, n_estimators=100 ...................................
[CV] .................... max_depth=2, n_estimators=100, total=   0.1s
[CV] max_depth=3, n_estimators=20 ....................................
[CV] ..................... max_depth=3, n_estimators=20, total=   0.0s
[CV] max_depth=3, n_estimators=20 ....................................
[CV] ..................... max_depth=3, n_estimators=20, total=   0.0s
[CV] max_depth=3, n_estimators=20 ....................................
[CV] ..................... max_depth=3, n_estimators=20, total=   0.0s
[CV] max_depth=3, n_estimators=50 ....................................
[CV] ..................... max_depth=3, n_estimators=50, total=   0.1s
[CV] max_depth=3, n_estimators=50 ....................................
[CV] ..................... max_depth=3, n_estimators=50, total=   0.1s
[CV] max_depth=3, n_estimators=50 ....................................
[CV] ..................... max_depth=3, n_estimators=50, total=   0.1s
[CV] max_depth=3, n_estimators=100 ...................................
[CV] .................... max_depth=3, n_estimators=100, total=   0.1s
[CV] max_depth=3, n_estimators=100 ...................................
[CV] .................... max_depth=3, n_estimators=100, total=   0.1s
[CV] max_depth=3, n_estimators=100 ...................................
[CV] .................... max_depth=3, n_estimators=100, total=   0.1s
[Parallel(n_jobs=1)]: Done  27 out of  27 | elapsed:    1.7s finished
最优参数:
{'max_depth': 2, 'n_estimators': 50}
最优分数:
0.9583333333333334
RandomForestClassifier GridSearchCV test AUC:    1.0

进程已结束,退出代码0

随机搜索

我们在搜索超参数的时候，如果超参数个数较少（三四个或者更少），那么我们可以采用网格搜索，一种穷尽式的搜索方法。

但是当超参数个数比较多的时候，我们仍然采用网格搜索，那么搜索所需时间将会指数级上升。所以有人就提出了随机搜索的方法，随机在超参数空间中搜索几十几百个点，其中就有可能有比较小的值。这种做法比上面稀疏化网格的做法快，而且实验证明，随机搜索法结果比稀疏网格法稍好。

RandomizedSearchCV使用方法和类GridSearchCV 很相似，但他不是尝试所有可能的组合，而是通过选择每一个超参数的一个随机值的特定数量的随机组合，这个方法有两个优点：相比于整体参数空间，可以选择相对较少的参数组合数量。如果让随机搜索运行，它会探索每个超参数的不同的值 可以方便的通过设定搜索次数，控制超参数搜索的计算量。添加参数节点不会影响性能，不会降低效率。RandomizedSearchCV的使用方法其实是和GridSearchCV一致的，但它以随机在参数空间中采样的方式代替了GridSearchCV对于参数的网格搜索，在对于有连续变量的参数时，RandomizedSearchCV会将其当做一个分布进行采样进行这是网格搜索做不到的，它的搜索能力取决于设定的n_iter参数。

from sklearn.metrics import roc_auc_score
import warnings
warnings.filterwarnings("ignore")
from sklearn.datasets import load_iris  # 自带的样本数据集


iris = load_iris()

X = iris.data  # 150个样本，4个属性
y = iris.target # 150个类标号
# 以随机森林为例介绍基本调用方法




# 随机参数优化

from sklearn.model_selection import RandomizedSearchCV
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import train_test_split  # 切分数据
# 切分数据 训练数据80% 验证数据20%
train_data, test_data, train_target, test_target = train_test_split(
    X, y, test_size=0.2, random_state=0)

model = RandomForestClassifier()
parameters = {'n_estimators': [10, 20, 30, 50], 'max_depth': [1, 2, 3]}

clf = RandomizedSearchCV(model, parameters, cv=3, verbose=2)
clf.fit(train_data, train_target)

score_test = roc_auc_score(test_target, clf.predict_proba(test_data), multi_class='ovr')

print("RandomForestClassifier RandomizedSearchCV test AUC:   ", score_test)
print("最优参数:")
print(clf.best_params_)
sorted(clf.cv_results_.keys())
D:\anaconda\python.exe C:/Users/Administrator/Desktop/数据挖掘项目/代码包测试集/随机参数优化调参.py
[Parallel(n_jobs=1)]: Using backend SequentialBackend with 1 concurrent workers.
Fitting 3 folds for each of 10 candidates, totalling 30 fits
[CV] n_estimators=10, max_depth=3 ....................................
[CV] ..................... n_estimators=10, max_depth=3, total=   0.0s
[CV] n_estimators=10, max_depth=3 ....................................
[Parallel(n_jobs=1)]: Done   1 out of   1 | elapsed:    0.0s remaining:    0.0s
[CV] ..................... n_estimators=10, max_depth=3, total=   0.0s
[CV] n_estimators=10, max_depth=3 ....................................
[CV] ..................... n_estimators=10, max_depth=3, total=   0.0s
[CV] n_estimators=50, max_depth=2 ....................................
[CV] ..................... n_estimators=50, max_depth=2, total=   0.1s
[CV] n_estimators=50, max_depth=2 ....................................
[CV] ..................... n_estimators=50, max_depth=2, total=   0.1s
[CV] n_estimators=50, max_depth=2 ....................................
[CV] ..................... n_estimators=50, max_depth=2, total=   0.1s
[CV] n_estimators=20, max_depth=1 ....................................
[CV] ..................... n_estimators=20, max_depth=1, total=   0.0s
[CV] n_estimators=20, max_depth=1 ....................................
[CV] ..................... n_estimators=20, max_depth=1, total=   0.0s
[CV] n_estimators=20, max_depth=1 ....................................
[CV] ..................... n_estimators=20, max_depth=1, total=   0.0s
[CV] n_estimators=30, max_depth=3 ....................................
[CV] ..................... n_estimators=30, max_depth=3, total=   0.0s
[CV] n_estimators=30, max_depth=3 ....................................
[CV] ..................... n_estimators=30, max_depth=3, total=   0.0s
[CV] n_estimators=30, max_depth=3 ....................................
[CV] ..................... n_estimators=30, max_depth=3, total=   0.0s
[CV] n_estimators=10, max_depth=2 ....................................
[CV] ..................... n_estimators=10, max_depth=2, total=   0.0s
[CV] n_estimators=10, max_depth=2 ....................................
[CV] ..................... n_estimators=10, max_depth=2, total=   0.0s
[CV] n_estimators=10, max_depth=2 ....................................
[CV] ..................... n_estimators=10, max_depth=2, total=   0.0s
[CV] n_estimators=20, max_depth=2 ....................................
[CV] ..................... n_estimators=20, max_depth=2, total=   0.0s
[CV] n_estimators=20, max_depth=2 ....................................
[CV] ..................... n_estimators=20, max_depth=2, total=   0.0s
[CV] n_estimators=20, max_depth=2 ....................................
[CV] ..................... n_estimators=20, max_depth=2, total=   0.0s
[CV] n_estimators=50, max_depth=3 ....................................
[CV] ..................... n_estimators=50, max_depth=3, total=   0.1s
[CV] n_estimators=50, max_depth=3 ....................................
[CV] ..................... n_estimators=50, max_depth=3, total=   0.1s
[CV] n_estimators=50, max_depth=3 ....................................
[CV] ..................... n_estimators=50, max_depth=3, total=   0.1s
[CV] n_estimators=30, max_depth=1 ....................................
[CV] ..................... n_estimators=30, max_depth=1, total=   0.0s
[CV] n_estimators=30, max_depth=1 ....................................
[CV] ..................... n_estimators=30, max_depth=1, total=   0.0s
[CV] n_estimators=30, max_depth=1 ....................................
[CV] ..................... n_estimators=30, max_depth=1, total=   0.0s
[CV] n_estimators=10, max_depth=1 ....................................
[CV] ..................... n_estimators=10, max_depth=1, total=   0.0s
[CV] n_estimators=10, max_depth=1 ....................................
[CV] ..................... n_estimators=10, max_depth=1, total=   0.0s
[CV] n_estimators=10, max_depth=1 ....................................
[CV] ..................... n_estimators=10, max_depth=1, total=   0.0s
[CV] n_estimators=50, max_depth=1 ....................................
[CV] ..................... n_estimators=50, max_depth=1, total=   0.1s
[CV] n_estimators=50, max_depth=1 ....................................
[CV] ..................... n_estimators=50, max_depth=1, total=   0.1s
[CV] n_estimators=50, max_depth=1 ....................................
[CV] ..................... n_estimators=50, max_depth=1, total=   0.1s
[Parallel(n_jobs=1)]: Done  30 out of  30 | elapsed:    0.9s finished
RandomForestClassifier RandomizedSearchCV test AUC:    1.0
最优参数:
{'n_estimators': 30, 'max_depth': 3}

进程已结束,退出代码0


 

韩立 •
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习14（网格搜索调参）
Roy_Allen的博客
06-06 2484
使用网格搜索调整超参数
机器学习模型评估与改进：网格化调参(grid search)
几何君的算法天空
04-26 6363
文章目录简单网格化搜索参数过拟合的风险网格搜索与交叉验证模型调参接口: GridSearchCV函数整体流程GridSearchCV( )函数对交叉验证进一步分析不同核方法的情况网格化搜索中应用其他交叉验证策略嵌套交叉验证并行化总结附注：mglearn工具包 在交叉验证部分我们知道了如何科学地评估算法模型的泛化能力，那么我们可以进一步看看，如何对模型进行调参，以达到改进模型效果的目的。 首先，在调...
A09_交叉验证与网格搜索.rar
02-06
按图索骥学-机器学习 有关机器学习的一组教程，深入浅出 用一副思维导图串联所有学习资源和知识点，每个同学都可以根据自己的情况，按图索骥，设计自己的学习路径，学习需要的课程 有关此课程详细信息，请访问https://code946.blog.csdn.net/
机器学习：网格搜索和交叉验证
JacksonKim的博客
06-20 8653
一、网格搜索 1. 超参数的定义 在机器学习中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。 比如在使用梯度下降法的神经网络中，学习率alpha就是一个超参数。 通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。 2.什么是网格搜索 了解了超参数的定义，网格搜索就可以很容易理解。 简单来讲，网格搜索是一种调参手段，一般是调超参数。它利用的是一种十分简单暴力的方法：穷举搜索。在所有候选的参数选择中，通过循环变脸，尝试每一种可能性，表现最好的参数就是
xgboost报错 ValueError: feature_names mismatch
chenhepg的博客
01-07 4870
@创建于：20210107 @修改于：20210107 文章目录1、背景2、predict()介绍3、解决办法3.1 把validate_features设置为False3.2 把输入的数据（dataframe类型）的列名进行对应修改3.3 变更predit输入数据的格式3.4 思考4、参考链接 1、背景 XGBClassifier自带fit()、predict()方法。 当通过网格搜索，交叉验证后，获得了最佳的参数，形成模型，并保存。 当再次加载模型，对测试集进行预测时候，使用XGBClassifier自
ValueError: Invalid parameter svc for estimator SVC
qq_22592457的博客
12-25 6258
from sklearn.svm import SVC from sklearn.model_selection import GridSearchCV X, y = make_blobs(n_samples=100, centers=2, random_state=0, cluster_std=0.8) param_grid = {'svc__C': ...
网格搜索报错：(GridSearchCV): ‘ascii‘ codec can‘t encode characters in position 18-20: ordinal not in r
你的深度学习小站
10-23 3801
网格搜索报错：UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 18-20: ordinal not in range(128) E:\DLstudy\Scripts\python.exe E:/PycharmProjects/DLstudy/run/train_model.py [INFO] tuning hyperparameters... Traceback (most recent call last):
使用网格搜索（GridSearchCV）自动调参
九灵猴君的博客
04-13 2152
调参对于提高模型的性能十分重要。在尝试调参之前首先要理解参数的含义，然后根据具体的任务和数据集来进行，一方面依靠经验，另一方面可以依靠自动调参来实现。Scikit-learn 中提供了网格搜索（GridSearchCV）工具进行自动调参，该工具自动尝试预定义的参数值列表，并具有交叉验证功能，最终找到最佳的参数组合。本任务的主要实践内容：1、 使用手工枚举来调参2、 利用GridSearchCV自动调参。
sklearn基础篇（八）-- 网格搜索与随机搜索
CarpeDiem
12-14 3344
网格搜索适用于三四个（或者更少）的超参数（当超参数的数量增长时，网格搜索的计算复杂度会呈现指数增长，这时候则使用随机搜索），用户列出一个较小的超参数值域，这些超参数至于的笛卡尔积（排列组合）为一组组超参数。网格搜索算法使用每组超参数训练模型并挑选验证集误差最小的超参数组合。
sklearn中网格搜索和交叉验证
gjinc的博客
06-08 626
Sklearn中寻找最佳的超参数的组合的过程称为网格搜索。当然我们可以自己写代码寻找最佳超参数，但效率较慢。Sklearn中已经提供了现成的方法供我们使用。
random_forest_鸢尾花_网格调参_RandomForest_random_python鸢尾花网格调参方法_随机森林_
10-02
基于随机森林机器学习算法，通过sklearn库，实现网格调参方法，完整代码过程
Python 乳腺癌数据集二分类预测 机器学习 深度学习 网格搜索+logistic逻辑回归+神经网络+SVM+KNN+可视化
01-14
乳腺癌数据集 Python 预测模型 乳腺癌数据集二分类预测 机器学习 深度学习 网格搜索+logistic逻辑回归+神经网络+SVM支持向量机+KNN 条形图折线图可视化 预测效果较好，拟合较为准确。 jupyter notebook numpy pandas...
机器学习 代海波 物联网学院物联网工程系 南京邮电大学
12-06
- 2维特征空间（前两维），取所有150个样本为训练样本，取[x_min,x_max]×[y_min,y_max]所有网格点为测试样本，查看使用不同svm时样本划分。- 训练数据X，测试数据xx×yy，训练样本真实标签Y，测试样本真实标签无，...
Stacking:机器学习集成模型之堆叠各种模型及工具源码-机器学习
03-24
堆码 简述 主要的三类集成学习方法为装袋...基本上，现代传统机器学习领域的库基本上被sciket-learn（sklearn）占领，如果你没有使用过sklearnlib，那就不能使用过机器学习算法进行数据挖掘。但是，自定义集成学习库依
sklearn0.19中文文档
10-30
sklearn0.19中文文档 PDF格式高清。 .1. 广义线性模型 1.1.1. 普通最小二乘法 1.1.1.1. 普通最小二乘法复杂度 1.1.2. 岭回归 1.1.2.1. 岭回归的复杂度 1.1.2.2. 设置正则化参数：广义交叉验证 1.1.3. Lasso 1.1.3.1....
GridSearchCV()参数
热门推荐
Vulpes corsac
10-16 1万+
GridSearchCV，它存在的意义就是自动调参，只要把参数输进去，就能给出最优化的结果和参数。 注：适合于小数据集，一旦数据的量级上去了，很难得出结果。 数据量比较大的时候可以使用一个快速调优的方法——坐标下降(一种贪心算法：拿当前对模型影响最大的参数调优，直到最优化；再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整完毕。这个方法的缺点就是可能会调到局部最优而不是全局最优，但是省时间省力，巨大的优势面前，还是试一试吧，后续可以再拿bagging再优化)。 Gri...
解决ModuleNotFoundError: No module named ‘sklearn.grid_search‘
最新发布
牛肉胡辣汤
10-30 504
在使用Python的机器学习库scikit-learn进行网格搜索（Grid Search）时，可能会遇到"ModuleNotFoundError: No module named 'sklearn.grid_search'"的错误。最后，我们使用这个网格搜索对象对模型进行训练和参数调优，并输出最佳参数组合和对应的准确率。​​模块是scikit-learn库中用于模型选择和评估的模块之一。​），它包含了我们希望搜索的参数的取值范围。​类创建了一个网格搜索对象（​。​​模块的详细介绍： ​​。
网格搜索多个监督学习模型上的超参数，包括神经网络、随机森林和树集合模型（Matlab代码实现）
weixin_46039719的博客
03-17 745
2)选择不同大小的参数，带入到模型中，挑选表现最好的参数。通过途径2选择超参数时，人力手动调节注意力成本太高，非常不值得。For循环或类似于for循环的方法受限于太过分明的层次，不够简洁与灵活，注意力成本高，易出错。GridSearchCV 称为网格搜索交叉验证调参，它通过遍历传入的参数的所有排列组合，通过交叉验证的方式，返回所有参数组合下的评价指标得分。注意的是，该方法在小数据集上很有用，数据集大了就不太适用了。再拿下一个影响最大的参数调优，如此下去，直到所有的参数调整完毕。行百里者，半于九十。
分类模型-GridSearchCV-网格调参
aouiylfjh的博客
05-30 4886
最近需要进行模型对比，验证算法好坏。针对每种模型，都有他们对应的参数可以进行调整，我们如果有足够的算力的话，可以考虑的参数个数多点，参数值范围广一点。如果我们考虑的参数受到限制的话，甚至可能效果是会比初始参数的效果要差一些，毕竟网格搜索就是更多的网格(参数)会搜索更好的结果。其实我们在建模之前，不妨先对数据进行处理，可以挑选有效特征列(属性)，这样的话，能够使得用较少的属性，获取更大的指标值(accuracy,f1等等)。读者不妨可参考模糊粗糙集知识。对数据集筛选，进行属性约简。
机器学习CategoricalNB网格搜索调参写代码
02-06
在使用 CategoricalNB 的网格搜索调参时，需要先定义参数网格。例如，假设你想调整 CategoricalNB 模型的平滑参数（即 alpha 参数），你可以定义如下参数网格： ``` param_grid = {'alpha': [0.1, 0.5, 1.0, 2.0]} ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值