模型评估和超参数调整(四)——网格搜索(grid search)

读《python machine learning》chapt 6 

Learning Best Practices for Model Evaluation and Hyperparameter Tuning

【主要内容】

(1)获得对模型评估的无偏估计

(2)诊断机器学习算法的常见问题

(3)调整机器学习模型

(4)使用不同的性能指标对评估预测模型

git源码地址 https://github.com/xuman-Amy/Model-evaluation-and-Hypamameter-tuning

【超参数选择——grid search 】

【主要功能】

grid search :用于超参数优化,通过优化超参数之间的最优组合来改善模型性能。

【主要思想】

暴风搜索法,首先为不同的超参数设定一个值列表,然后计算机会遍历每个超参数的组合进行性能评估,选出性能最佳的参数组合。

【sklearn 实现 网格搜索】

# grid search
from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
pipe_svc = make_pipeline(StandardScaler(),
                         SVC(random_state = 1))
param_range = [0.0001, 0.001, 0.01, 0.1, 1.0
  • 1
    点赞
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深度学习中的回归模型网格搜索是一种常用的参数调优方法,它通过预先定义一组可能的参数组合,对这些组合进行遍历和评估,找到在训练数据上性能最优的参数设置。在回归任务中,比如线性回归、神经网络回归等,参数可能包括学习率、隐藏层大小、激活函数类型、正则化强度等。 网格搜索的具体步骤如下: 1. **定义参数范围**:确定每个参数可能的不同取值,例如,学习率可能取一系列固定的数值,隐藏层节点数可以是几个预设的数量级。 2. **创建参数网格**:将每个参数的取值组合成一个网格。例如,如果学习率有三个选项(0.001, 0.01, 0.1), 隐藏层节点数有两个(32, 64),则会生成一个9(=3x2)个元素的网格。 3. **模型训练和评估**:对于网格中的每一个参数组合,训练一个回归模型,并使用交叉验证或其他评估方法测量模型在测试集上的性能指标,如均方误差或R^2分数。 4. **选择最佳参数**:比较不同参数组合的性能,选择性能最好的那组参数作为最终的模型配置。 5. **模型应用**:使用选定的最佳参数再次训练模型,并在实际任务中使用这个优化过的模型进行预测。 **相关问题--:** 1. 网格搜索有没有什么缺点? 2. 在深度学习中,除了网格搜索还有哪些调优方法? 3. 对于大规模的参数空间,如何更高效地进行调优?
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值