scikit-learn笔记5 SKLearn模型选择与评估 超参数优化方法

最新推荐文章于 2024-08-07 01:11:23 发布
最新推荐文章于 2024-08-07 01:11:23 发布
阅读量1.2k 收藏 5
点赞数
分类专栏： python scikit-learn模块 文章标签： sklearn scikit-learn 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44632711/article/details/120930229
版权

超参数优化方法
1.什么是超参数(hyper-parameters)?
2.网格搜索穷举式超参数优化方法
3.随机采样式超参数优化方法
4.超参数空间的搜索技巧
5.暴力参数搜索方法的替代办法

在这里插入图片描述

什么是超参数(hyper-parameters)?
学习器模型中一般有两类参数:一类参数可以从数据中学习估计得到，还有一类参数无法从数据中估计，只能靠人的经验进行设计指定。后一类参数就叫超参数。
比如，支持向量机里的C，Kernel，gama，朴素贝叶斯里的alpha
在学习器模型的设计中，我们要搜索超参数空间为学习器模型找到最合理的超参数。
可已通过以下方法获得学习器模型的参数列表和当前取值:estimator.get_params()。
参数空间的搜索有以下几部分构成:
1、一个estimator(回归器or分类器比如sklearn.svm.sVC()) ;
2、一个参数空间;
3、一个搜索或采样方法来获得候选参数组合;
4、一个交叉验证机制;
5、一个评分函数。

在这里插入图片描述

有些学习器模型(estimator)有自己独特的参数优化方法。
SKLearn提供了两种通用的参数优化方法:网格搜索与随机采样。
网格搜索交叉验证(GridSearchCV):以穷举的方式遍历所有可能的参数组合
随机采样交叉验证(RandomizedSearchCV):依据某种分布对参数空间采样，随机的得到一些候选参数组合方案。

在这里插入图片描述

网格搜索穷举式超参数优化方法

GridSearchCV提供了在参数网格上穷举候选参数组

最低0.47元/天 解锁文章
可可茜里的传说
关注
专栏目录
机器学习笔记 - 基于Scikit-Learn的各种分类器进行分类并比较
学以致用 知行合一
06-15 764
scikit-learn是基于python语言构建机器学习应用程序的最佳库之一。简单易用，并且它有很多示例和教程。除了监督式机器学习（分类和回归）外，它还可用于聚类、降维、特征提取和工程以及数据预处理。该接口在所有这些方法上都是一致的，因此它不仅易于使用，而且也很容易构建一个大型分类器/回归模型集合并使用相同的命令训练它们。我们这里基于scikit-learn构建，训练，评估和验证分类器，通过超参数优化改进初始分类器。这里通过两个简单的示例数据集来进行分类。
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（8）：降维
Morganfs的博客
05-08 1309
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.07~2022.05.08 第八章 降维 许多机器学习问.
python sklearn---模型选择
bigfatbean
08-11 1310
这节内容很详细齐全，跟着里面的思路走，差不多就能把sklearn的用法以及建模的套路弄懂。一边学习一边理解一边操作一起开始sklearn的学习吧~ sklearn介绍 scikit-learn是数据挖掘与分析的简单而有效的工具。 依赖于NumPy， SciPy和matplotlib。 首先要知道的是sklearn中包含的主要功能有什么？ classification 分类 Regre...
【Scikit-Learn 中文文档】模型选择：选择估计量及其参数 - 关于科学数据处理的统计学习教程 - scikit-learn 教程 | ApacheCN
妳那伊抹微笑的专栏
11-30 715
中文文档: http://sklearn.apachecn.org/cn/stable/tutorial/statistical_inference/model_selection.html 英文文档: http://sklearn.apachecn.org/en/stable/tutorial/statistical_inference/model_selection.html
24.8.6学习笔记
最新发布
m0_64006292的博客
08-07 700
每种方法都有其特点和适用场景，选择哪种方法取决于你的问题规模、资源约束以及你愿意投入的时间。例如，如果你的超参数空间很小，你可以考虑使用网格搜索；如果超参数空间很大，随机搜索可能是更好的选择；而对于复杂的优化问题，贝叶斯优化和遗传算法通常能够找到更优的解决方案。最优超参数采用了随机搜索的超参数优化方法，使预测准确率提高了10%左右以下是MNIST手写数字识别，并且加入了随机搜索的超参数优化方法。# 导入NumPy库，用于数值计算。
【Scikit-Learn 中文文档】优化估计器的超参数 - 模型选择和评估 - 用户指南 | ApacheCN
妳那伊抹微笑的专栏
11-27 672
超参数，即不直接在估计器内学习的参数。在 scikit-learn 包中，它们作为估计器类中构造函数的参数进行传递。典型的例子有：用于支持向量分类器的 C 、kernel 和 gamma ，用于Lasso的 alpha 等。 搜索超参数空间以便获得最好 交叉验证 分数的方法是可能的而且是值得提倡的。 通过这种方式，构造估计器时被提供的任何参数或许都能被优化。具体来说，要获取到给定估计器的所有参数的名称和当前值，使用:
sklearn参数优化方法
weixin_33910460的博客
06-14 539
学习器模型中一般有两个参数：一类参数可以从数据中学习估计得到，还有一类参数无法从数据中估计，只能靠人的经验进行指定，后一类参数就叫超参数 比如，支持向量机里的C，Kernel，gama，朴素贝叶斯里的alpha等，在学习其模型的设计中，我们要搜索超参数空间为学习器模型找到最合理的超参数，可以通过以下方法获得学习器模型的参数列表和当前取值：estimator.get_params() sklear...
sklearn超参数选择
yeal
12-30 6038
sklearn中的超参数优化
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（4）：训练模型
Morganfs的博客
04-16 1529
第四章 训练模型 · Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.04.16~2022.04.？ 到目前为止，我们已经探讨了不同机器学
《机器学习实战：基于Scikit-Learn、Keras和TensorFlow第2版》-学习笔记（7）：集成学习和随机森林
Morganfs的博客
05-05 1414
· Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron (O’Reilly). Copyright 2019 Aurélien Géron, 978-1-492-03264-9. · 《机器学习》周志华 · 环境：Anaconda（Python 3.8） + Pycharm · 学习时间：2022.05.05~2022.05.05 第六章 集成学习和随机森林 .
机器学习1：scikit-learn简介（4）—— 超参数优化
shi_jiaye的博客
02-12 896
scikit-learn的介绍 一、机器学习的一般步骤 链接：机器学习的一般步骤 二、预处理数据 链接：预处理数据 三、交叉验证 四、超参数优化 五、文本数据处理 将数据集拆分为数据和目标。 目标对应于类列。 对于数据，删除列fnlwgt，capitalgain和capitalloss。 在这里插入代码片 目标未编码。使用 sklearn.preprocessing.LabelEncoder 对类进行编码。 在这里插入代码片 创建一个包含分类列名称的列表。 同样，对数值数据也一样。 在这里插
机器学习框架sklearn之模型选择与调优
David_house的博客
03-18 494
通常情况下，有很多参数是需要手动指定的（如K-近邻算法中的K值），这种叫超参数，但是手动过程繁杂，所以需要对模型预设几种超参数组合。每种超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。
Scikit-learn提供的文本处理模型的选择方法
小白之比白更白的博客
07-19 110
sklearn学习笔记11：模型选择与评估
happylls666的博客
12-27 640
sklearn学习笔记
scikit-learn笔记4 SKLearn模型选择与评估 数据集划分
weixin_44632711的博客
10-24 2022
数据集划分方法 k折交叉验证 1、将全部训练集S分成k个不相交的子集，假设S中的训练样例个数为m，那么每一个子集有m/k个训练样例，，相应的子集称作{s1,s2,… ,sk}。 2、每次从分好的子集里面，拿出一个作为测试集，其它k-1个作为训练集 3、在k-1个训练集上训练出学习器模型。 4、把这个模型放到测试集上，得到分类率。 5、计算k次求得的分类率的平均值，作为该模型或者假设函数的真实分类率。 这个方法充分利用了所有样本。但计算比较繁琐，需要训练k次，测试k次。 使用 # kFold im
Python sklearn模型选择、使用那些事儿
qq_36235935的博客
03-31 704
Python sklearn模型选择、使用那些事儿 一. 主要功能 1.classification 分类 2.Regression 回归 3.Clustering 聚类 4.Dimensionality reduction 降维 5.Model selection 模型选择 6.Preprocessing 预处理 二. 常用模块 1.sklearn.model_selection: Model Selection 2.sklearn.datasets: Dataset
sklearn模型评选择与评估
Blankit1的博客
04-08 816
sklearn模型评选择与评估 1. 数据集划分 1.1 K折交叉验证 a. 将全部训练及S分成K个不相交的子集，假设S中样本个数为M，那么，每一个子集的训练样本个数为M/K相应的子集称做{S1,S2,...,SK}\{S_{1},S_{2},...,S_{K}\}{S1​,S2​,...,SK​} b. 每次从分好的训练只集中拿出一个测试集。其他K-1一个作为训练集。 c. 在K-1一个训练...
sklearn应用之logistic优化算法选择
libing101007的博客
05-18 445
class sklearn.linear_model.LogisticRegression(penalty=’l2’, dual=False, tol=0.0001, C=1.0, fit_intercept=True, intercept_scaling=1, class_weight=None, random_state=None, solver=’warn’, max_iter=100, m...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值