调参基本思想

最新推荐文章于 2021-09-24 14:12:42 发布
最新推荐文章于 2021-09-24 14:12:42 发布
阅读量287 收藏
点赞数
分类专栏： # sklearn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liuziyuan333183/article/details/107495113
版权

调参的基本思想

目的：使泛化误差达到最低点

在这里插入图片描述

1）模型太复杂或者太简单，都会让泛化误差高，我们追求的是位于中间的平衡点
2）模型太复杂就会过拟合，模型太简单就会欠拟合
3）对树模型和树的集成模型来说，树的深度越深，枝叶越多，模型越复杂
4）树模型和树的集成模型的目标，都是减少模型复杂度，把模型往图像的左边移动

各参数对模型的影响程度

在这里插入图片描述

先确定参数的大范围再缩小范围调参

如果使模型复杂度降低了，反而造成score变低，即使图像左移对模型造成负影响，那所有使图像左移的调参都可以不进行。

max_features默认为列总数的开平方根，图像右移，score变低，说明原来的点更好，不需要再调

liuziyuan827
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习 14. 深度学习调参，CNN参数调参，各个参数理解和说明以及调整的要领。underfitting和overfitting的理解，过拟合的解释。
不积跬步无以至千里
04-21 7万+
深度学习 14. 深度学习调参，CNN参数调参，各个参数理解和说明以及调整的要领。underfitting和overfitting的理解，过拟合的解释。
机器学习中调参的基本思想和调参实例
xlperpetual的博客
12-04 974
机器学习中调参的基本思想 第一步：找目标 一般来说，这个目标是提升某个模型评估指标，比如对于随机森林来说，我们想要提升的是模型在未知数据上的准确率（由score或oob_score_来衡量）。找准了这个目标，我们就需要思考：模型在未知数据上的准确率受什么因素影响？在机器学习中，我们用来衡量模型在未知数据上的准确率的指标，叫做泛化误差（Genelization error）。 而泛化误差，收到模型的...
sklearn中对随机森林进行调参
进击的扛把子
12-06 3384
sklearn中对随机森林进行调参
scikit-learn 梯度提升树(GBDT)调参小结
lizz2276的博客
06-01 547
转载自：https://www.cnblogs.com/pinard/p/6143927.html 　在梯度提升树(GBDT)原理小结中，我们对GBDT的原理做了总结，本文我们就从scikit-learn里GBDT的类库使用方法作一个总结，主要会关注调参中的一些要点。 1.scikit-learn GBDT类库概述 　　　　在sacikit-learn中，GradientBoostingClassifier为GBDT的分类类， 而GradientBoostingRegressor为GBDT的回归类。.
机器学习——调参
qq_34872501的博客
06-10 3251
在实际调整参数之前，我们先要搞清楚两个事情：1.调参的目的是什么？2.调参调的东西具体是什么？第一个问题：调参的目的是什么？      调参的最终目的是要使训练之后的模型检测物体更精确，向程序的方向更靠近一步的话，就是使得损失函数（例如SSD中的loss）尽量小（因为利用训练集训练出来的模型质量在训练过程中只能靠验证集来检测）。       因此，调参可以看做一个多元函数优化问题。第二个问题：调参...
SOR.rar_SOR_sor法基本思想
09-23
SOR算法的基本思想以及详细的代码实现和运行情况。
DFS.zip_dfs基本思想_深度搜索思想
09-20
深度优先搜索，主要是了解其简单的思想过程，通过简单的运用来说明DFS
Huffman.zip_huffman基本思想_image compression
07-15
Huffman编码的主导思想是根据数据符号发生的概率进行编码。在源数据中出现概率越高的符号，相应的码长越短；出现概率越小的符号，其码长越长，从而达到用尽可能少的码符号表示源数据。Huffman编码方法是接近压缩比...
Android组件设计思想
10-23
Android的组件设计思想与传统的组件设计思想最大的区别在于，前者不依赖于进程。也就是说，进程即使由于内存紧张被强行杀掉了，但是运行在里面的组件还是存在的。这样就可以在组件再次需要使用时，原地满血复活，就...
关于社会诚信建设指导思想、基本原则的思考
07-09
加强社会诚信建设,必须坚持以社会主义核心价值体系为统领,以社会主义荣辱观为主线,以提高社会成员的思想道德素质为目标的指导思想;遵循以人为本、注重教育,多方参与、齐抓共建,政府主导、分类指导,营造氛围、...
随机森林调参笔记
浅笑古今的博客
11-05 1739
1. scikit-learn随机森林类库概述 　　　　在scikit-learn中，RF的分类类是RandomForestClassifier，回归类是RandomForestRegressor。当然RF的变种Extra Trees也有， 分类类ExtraTreesClassifier，回归类ExtraTreesRegressor。由于RF和Extra Trees的区别较小，调参方法基本相同，...
大幅提升开发效率！这几个调参技巧你不可不知！
GitHubDaily
07-06 1237
公众号关注“GitHubDaily”设为 “星标”，每天带你逛 GitHub！随着端侧算力日益增长，以及模型小型化方案日趋成熟，使得高精度的深度学习模型在移动端、嵌入式等终端设备上流畅...
神经网络学习：如何调参
热门推荐
qoopqpqp的博客
07-18 2万+
神经网络中需要调的参数很多，如何正确地调参至关重要，需要调节的参数大概有如下几个： 神经网络的层数每层神经元的个数如何初始化Weights和biasesloss函数选择哪一个选择何种Regularization？L1,L2Regularization parameter 选择多大合适激励函数如何选择是否使用dropout训练集多大比较合适mini-batch选择多大学习率多少合适选择何种
[CS231n-assignment2] Python从零实现的CNN在CIFAR-10上的实验报告
一番の宝物
06-05 6736
根据CS231n assignments从零实现CNN在CIFAR-10上运行的实验报告，总结了深度学习落地过程中的7个诀窍trick，通过不断摸索和分析ResNet，在CIFAR中从最简单的CNN的58%的精度提升至77%
「建模调参」之零基础入门数据挖掘
Datawhale
04-05 1071
Datawhale作者：徐韬，Datawhale优秀学习者摘要：对于数据挖掘项目，本文将学习如何建模调参？从简单的模型开始，如何去建立一个模型；如何进行交叉验证；如何调节参数优化...
机器学习 | 调参 Part1
RUC_Lee的博客
05-22 3221
调参系列11 什么叫调参？2 为什么要调参3 调参方法有哪些？3.1 网格搜索3.1.1 原理3.1.2 Python实现3.2 随机搜索3.2.1 原理3.2.2 Python实现3.3 贝叶斯调参3.3.1 区别于前两种方法的点3.3.2 原理3.3.3 Python实现4 参考 1 什么叫调参？ 调参即对模型的参数进行相应的调整，以期获得更好的预测效果！ 其中参数又分为：模型参数和模型超参数...
PID的那些事——参数整定 经验调试取值的范围，凑试法
二进制模----细微行动改变影响世界
09-24 3571
PID的那些事——参数整定 2020-06-29阅读2090 讲了几天的PID算法的知识，终于上调参的内容了激动~ 调参的方法可以分为两大类，理论整定法和工程整定法，不过理论整定对我们实践虽然有帮助，但是实践上的参数整定用工程整定法就够了，工程整定法包括：凑试法、临界比例法、经验法等。 凑试法 先比例、再积分、最后微分，调比例的时候，先将积分时间Ti置于无穷大，微分时间Td置为0，将Kp的值先定一个经验初值，然后开始调Kp的值，在这个过程观察相应的振荡曲线，然后得到一个1/4衰减度过渡过程曲.
如何对一个变量数据进行正则判定_零基础入门数据挖掘系列之建模调参
weixin_39624606的博客
11-22 153
摘要：对于数据挖掘项目，本文将学习如何建模调参？从简单的模型开始，如何去建立一个模型；如何进行交叉验证；如何调节参数优化等。建模调参：特征工程也好，数据清洗也罢，都是为最终的模型来服务的，模型的建立和调参决定了最终的结果。模型的选择决定结果的上限， 如何更好的去达到模型上限取决于模型的调参。数据及背景https://tianchi.aliyun.com/competition/entra...
深度学习调参有哪些技巧？
深度学习技术前沿
08-25 474
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要15分钟Follow小博主，每天更新前沿干货来自 | 知乎链接 | https://www.zhihu.com/question/...
Ms-coco数据集算法基本思想概述
最新发布
06-07
在进行模型训练时，需要将提取出的图像特征和相应的标签数据进行整合，并对模型进行调参，以达到最优的分类效果。在进行模型评估和优化时，需要对模型进行评估，并根据评估结果对模型进行优化，以提高其分类效果。 ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值