机器学习之网格搜索(GridSearch)及参数说明,实例演示

一)GridSearchCV简介
网格搜索(GridSearch)用于选取模型的最优超参数。获取最优超参数的方式可以绘制验证曲线,但是验证曲线只能每次获取一个最优超参数。如果多个超参数有很多排列组合的话,就可以使用网格搜索寻求最优超参数的组合。

网格搜索针对超参数组合列表中的每一个组合,实例化给定的模型,做cv次交叉验证,将平均得分最高的超参数组合作为最佳的选择,返回模型对象。
GridSearchCV的sklearn官方网址:
http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html#sklearn.model_selection.GridSearchCV

二)sklearn.model_selection.GridSearchCV参数详解

sklearn.model_selection.GridSearchCV(
estimator, 
param_grid, 
scoring=None,
 n_jobs=None,
 iid=’warn’, 
refit=True, 
cv=’warn’, 
verbose=0, 
pre_dispatch=‘2*n_jobs’, 
error_score=’raise-deprecating’, 
return_train_score=False)

(1) estimator

选择使用的分类器,并且传入除需要确定最佳的参数之外的其他参数。
(2) param_grid

需要最优化的参数的取值,值为字典或者列表。
(3) scoring=None

模型评价标准,默认None。
根据所选模型不同,评价准则不同。比如scoring=”accuracy”。
如果是None,则使用estimator的误差估计函数。
https://scikit-learn.org/stable/modules/model_evaluation.html#scoring-parameter (官方文档)
Scoring的参数,如下图:

Scoring Function Comment
Classification
‘accuracy’ metrics.accuracy_score
‘average_precision’ metrics.average_precision_score
‘f1’ metrics.f1_score for binary targets
‘f1_
好的,下面是一个 Gradient Boosting Regressor 机器学习模型超参数调整的实例: 假设我们有一个数据集,其中包含了一些房屋的信息,包括房屋的面积、卧室数量、浴室数量、车库数量、位置等等。我们的目标是预测每个房屋的售价。 我们可以使用 Gradient Boosting Regressor 来建立一个预测模型。在建立模型之前,我们需要确定一些超参数,例如 learning_rate、n_estimators、max_depth、min_samples_split 等等。这些超参数可以影响模型的性能和训练时间。 下面是一个简单的超参数调整实例: 1. 导入必要的库和数据集 ```python import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.ensemble import GradientBoostingRegressor from sklearn.metrics import mean_squared_error data = pd.read_csv('housing.csv') ``` 2. 数据预处理 ```python # 删除缺失值 data.dropna(inplace=True) # 将类别变量转换为数值变量 data = pd.get_dummies(data) # 将数据集分为特征和目标变量 X = data.drop('SalePrice', axis=1) y = data['SalePrice'] # 将数据集分为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` 3. 定义超参数范围 ```python # 定义超参数范围 param_grid = { 'learning_rate': [0.01, 0.1, 1], 'n_estimators': [100, 500, 1000], 'max_depth': [3, 5, 7], 'min_samples_split': [2, 4, 8] } ``` 4. 使用网格搜索确定最佳超参数 ```python from sklearn.model_selection import GridSearchCV # 定义模型 model = GradientBoostingRegressor() # 定义网格搜索 grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=5, n_jobs=-1) # 运行网格搜索 grid_search.fit(X_train, y_train) # 输出最佳超参数 print(grid_search.best_params_) # 输出最佳模型 best_model = grid_search.best_estimator_ ``` 5. 训练模型并进行预测 ```python # 训练模型 best_model.fit(X_train, y_train) # 预测测试集 y_pred = best_model.predict(X_test) # 计算均方误差 mse = mean_squared_error(y_test, y_pred) print('均方误差:', mse) ``` 通过上面的步骤,我们可以使用网格搜索确定最佳超参数,并训练一个性能良好的 Gradient Boosting Regressor 模型。
评论 9
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值