深度学习中的训练调参

最新推荐文章于 2024-06-13 11:30:27 发布
最新推荐文章于 2024-06-13 11:30:27 发布
阅读量2.8k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 深度学习 模型调参 优化器 Adam SGD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36113899/article/details/79108769
版权
本文探讨了深度学习中两种常用的优化器——Adam和SGD的使用。Adam以其自动调整学习率的优势适合初学者，而SGD通常在模型精度上更胜一筹。推荐的训练策略是先用Adam快速收敛，再用SGD提升模型精度。同时，文章提到了Momentum的作用，它通过引入前几次迭代的梯度来减少噪声并加速学习。
摘要由CSDN通过智能技术生成

     很久很久没有写过博客了。

     去年春夏接触到深度学习，直到现在，也有大半年了，但是关于训练调节参数一直没有很好的把握，刚好同组有调参大神，就向她请教了下：

本着一个大原则：学习率尽量调大，只要不发散就行。

1、用什么：Adam和SGD

     Adam：比较傻瓜式，可以自动调节学习率（初始学习率也不能太大，只是施加一个惯性？）。不追求极致的和初学者能用它把模型训练到一个比较满意的效果。

     SGD：一般框架中默认的优化器，适合要求比较高的模型训练。普遍适用于各种数据集，一般给个较大的bash_lr训练一段时间后再降低进行训练。

     

     以下例子来自于caffe源代码中的mnist训练例子（只看最后一个cell就行）：

     收敛速度: Adam > SGD

       eg. 网络包含一个全连接层，lr=0.001，lr_policy=‘inv’, niter=500 （左Adam右SGD）

最低0.47元/天 解锁文章
馅儿了个饼
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
深度学习这么调参训练_深度学习调参及训练技巧（转）
weixin_39863155的博客
12-19 323
深度学习调参及训练技巧(转)作者：婉儿飞飞链接：https://www.jianshu.com/p/0b116c43eb16来源：简书简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。1. 调参训练技巧对深度学习来说是非常重要的，作为一门实验性质很强的科学，同样的网络结构使用不同的训练方法训练，结果可能会有很大的差异。这里我总结了近一年来的炼丹心得，分享给大家，也欢迎大家补充指正...
深度学习中遇到的各种参数总结
青春正当时
11-09 4794
深度学习里面的各种参数做一个学习记录 提示：自己根据自己的理解写的，水平有限，仅供参考，如有错误，欢迎指正 个人学习记录，仅供参考深度学习里面的各种参数做一个学习记录1. batchsize，iteration，epoch2. filter，kernel_size，stride，padding3. ReLU，sigmoid，softmax4. BatchNormal，Dropout，num_classes，mini_batch5. receptive field 1. batchsize，iteratio
深度学习训练过程中，常见的关键参数和概念讲解
www_tlj的专栏
04-01 1800
深度学习训练过程中的关键参数和概念对于构建、理解和优化模型至关重要。
深度学习模型的训练时间：影响、意义与应用范围
最新发布
qlkaicx的博客
06-13 620
在深度学习领域，训练时间是衡量模型性能的一个重要因素，但它能否决定模型的优劣和实际应用范围？本文将深入探讨训练时间对深度学习模型的具体影响、模型选择的考虑因素以及如何合理评估模型在实际应用中的适用性。
深度学习训练（优化）参数的玄学解释
豆芽菜
04-07 640
优化的目标：更好、更快 梯度局部最小 优化的头号敌人是梯度为零，梯度为零即有众所周知的局部最小，还有鞍部点。 但幸好在高维空间局部最小并非经常出现，例如下面左图，在一维空间上红点是局部最小，但在二维空间上红点是鞍部点。实际模型参数空间十分复杂，在右侧二维空间的局部最小也在高维空间中大多不是局部最小。 batch size 用大batch size还是小的呢？较大的batch size训练更快，较小的batch size精度和泛化能力更好。 What？batch size不是越大越好么
【深度学习】深度学习中的参数（parameters）和超参数（hyper-parameters）
z小白的博客
06-25 1万+
深度学习中有一些易混淆的概念，根据我自己的理解对这些概念做一个简单的总结，如有错误之处，欢迎指正。 参数（parameters）：指的是模型可以根据所输入的数据自动学习出来的变量。常见的模型参数有神经网络中的权重、支持向量机中的支持向量等。 超参数（hyper-parameters）：超参数的值不是通过算法学出来的，而是人通过经验设定的（当然，也可以设计一个学习算法来找出模型最优的超参数，比如...
深度学习调参经验
weixin_52810783的博客
02-01 3859
自我提升学习
【pytorch优化器】Adam优化算法详解
All_In_gzx_cc的博客
11-22 6973
转载自：https://blog.csdn.net/weixin_39228381/article/details/108548413仅作学习记录。
（Note）优化器Adam的学习率设置
热门推荐
Hanlin的博客
07-21 1万+
从统计的角度看，Adam的自适应原理也是根据统计对梯度进行修正，但依然离不开前面设置的学习率。如果学习率设置的过大，则会导致模型发散，造成收敛较慢或陷入局部最小值点，因为过大的学习率会在优化过程中跳过最优解或次优解。同时神经网络的损失函数基本不是凸函数，而梯度下降法这些优化方法主要针对的是凸函数，所以在优化方面深度学习的学习率会设置的比传统机器学习小得多。如果学习率设置过高，Adam优化器只会矫正梯度，而不会影响设置的初始学习率，这时模型的Loss会出现较大的波动，这代表模型没有办法收敛。......
ADAM算法 自动调节学习率
weixin_72100405的博客
04-23 302
解决深度学习训练每次结果不同
zhangqiqiyihao的博客
06-03 4355
1.在验证和测试代码时加入 model.eval() 可以打开验证开关，关闭所有的dropout等。但是在返回到训练时需要再次加入 model.train() 之前的训练中做了这个操作每次的测试结果就会保证一致。后来不知道发生了什么又不能一致了 再加入种子 2.加入seed torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.
深度学习（8）调参
weixin_42535423的博客
01-01 2625
我们在学习使用深度学习的过程中最最重要的就是调参，而调参的能力是需要长期积累才能形成的，因为每一种数据库和每一种网络结构都需要不同的参数以达到最佳效果。而寻找这个最佳的...
机器学习、深度学习常用专业术语
baidu_41906969的博客
12-27 881
主要记录一些深度学习中可能用到的专业术语，一般是碰到了不懂的才记录，所有没有按一定的规律记录。 1、梯度下降(gradient descent) 2、学习速率(learning rate)：学习率指每次迭代中 对成本函数的“最小化次数”。 **3、反向传播(back propagation)：**一次迭代后，根据产生的结果计算出整个网络的偏差，然后用偏差结合“成本函数的梯度”，对“权重因子进行调整”，使得下次迭代的过程中偏差变小。这样一个结合成本函数的梯度 来调整 权重因子 的过程就叫做反向传播。 4、常用
深度学习调参技巧总结
Fantastic
09-19 3269
本文章参考：写给新手炼丹师：2021版调参上分手册 寻找合适的学习率 学习率是一个非常重要的超参数，在面对不同规模的网络、不同batch-size、不同优化方式，不同数据集，甚至可能不同时间段训练的合适值都不确定。我们唯一可以做的是在训练中不断寻找最合适当前状态的学习率。比如利用fastai中的lr_find()函数寻找合适的学习率。 how do you find a good learning rate 如何找到好的学习率 Cyclical Learning Rates for Training N
深度学习调参大法（实验证明）
Leon的博客
03-28 1920
一、前言 正当本人在纠结如何组合使用 优化器和学习率 调整方法时，看到了这篇文章，属实让我豁然开朗。 口说无凭，实验数据比对更能说明问题。看似玄学，炼丹（训练）也有门路。膜拜大佬！ 二、正文 本文作者模拟复现了自己在深度学习训练过程中可能遇到的多种情况，并尝试解决这些问题，文章围绕学习率、动量、学习率调整策略、L2正则、优化器展开。 “深度模型是黑盒，而且本次并没有尝试超深和超宽的网络，所以结论只能提供一个先验，并不是标准答案！同时不同的任务也可能导致不同，比如分割，所以必须具体问题具体分析！”
深度学习调参经验和工具
Castlehe的博客
06-09 661
资源整理
机器学习：模型调参 | 超全方法总结！！！
m0_72410588的博客
05-03 8199
超参数（Hyperparameters）是机器学习算法中需要人为设定的参数，它们不能直接从训练数据中学习得出。与之对应的是模型参数（Model Parameters），它们是模型内部学习得来的参数。以支持向量机（SVM）为例，其中 C、kernel 和 gamma 就是超参数，而学习到的权重 w 和偏置 b 是模型参数。超参数调整是优化模型性能的一个重要步骤。通常使用的搜索方法是网格搜索和随机搜索，其中后者较为灵活。超参数搜索需要注意搜索算法、搜索尽可能多的超参数、均衡时间和性能以及多次搜索取平均等问题。
21个深度学习调参技巧，一定要看到最后一个
3D视觉工坊
03-10 2336
作者丨AI_study来源丨AI算法与图像处理编辑丨深度学习爱好者点击进入—>3D视觉工坊学习交流群这篇文章在国外知名的网站medium上面获得了一千多的赞，给出了很多建议，同时也备注了论文的来源，所以这么优质的文章，大家一定要多多宣传哈训练深度神经网络是困难的。它需要知识和经验，以适当的训练和获得一个最优模型。在这篇文章中，我想分享我在训练深度神经网络时学到的东西。以下提示和技巧可能...
深度学习模型训练调参技巧
02-18
深度学习模型训练调参技巧包括: 1. 数据预处理: 包括数据标准化,归一化等 2. 模型架构: 选择合适的网络结构和层数 3. 损失函数: 选择合适的损失函数 4. 优化器: 选择合适的优化器,如Adam,SGD等 5. 学习率: 调整学习...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值