深度学习拾遗

最新推荐文章于 2023-04-15 14:42:36 发布
最新推荐文章于 2023-04-15 14:42:36 发布
阅读量578 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qingyang666/article/details/83311971
版权
本文探讨深度学习中的关键超参数，包括学习率、批次大小、优化器选择和迭代次数，以及激活函数的作用和类型。学习率对模型收敛至关重要，优化器如Adam能加速收敛。激活函数如sigmoid、tanh和relu引入非线性，解决复杂问题。同时，文章还介绍了泊松分布和指数分布的概念。
摘要由CSDN通过智能技术生成

深度学习：hinton bp算法，李飞飞，吴恩达，黄广斌，路奇

深度学习优化的超参数：1）学习率
学习率（learning rate或作lr）是指在优化算法中更新网络权重的幅度大小。学习率可以是恒定的、逐渐降低的，基于动量的或者是自适应的。不同的优化算法决定不同的学习率。当学习率过大则可能导致模型不收敛，损失loss不断上下震荡；学习率过小则导致模型收敛速度偏慢，需要更长的时间训练。通常lr取值为[0.01,0.001,0.0001]
（2）批次大小batch_size
批次大小是每一次训练神经网络送入模型的样本数，在卷积神经网络中，大批次通常可使网络更快收敛，但由于内存资源的限制，批次过大可能会导致内存不够用或程序内核崩溃。bath_size通常取值为[16,32,64,128]
（3）优化器optimizer
目前Adam是快速收敛且常被使用的优化器。随机梯度下降(SGD)虽然收敛偏慢，但是加入动量Momentum可加快收敛，同时带动量的随机梯度下降算法有更好的最优解，即模型收敛后会有更高的准确性。通常若追求速度则用Adam更多。
（4）迭代次数
迭代次数是指整个训练集输入到神经网络进行训练的次数，当测试错误率和训练错误率相差较小时，可认为当前迭代次数合适；当测试错误率先变小后变大时则说明迭代次数过大了，需要减小迭代次数，否则容易出现过拟合。
（5）激活函数
在神经网络中，激活函数不是真的去激活什么，而是用激活函数给神经网络加入一些非线性因素，使得网络可以更好地解决较为复杂的问题。比如有些问题是线性可分的&

最低0.47元/天 解锁文章
江海成
关注
【韭菜拾遗】Coqui TTS: a deep learning toolkit for Text-to-Speech
小哲的博客
08-11 2141
Coqui TTS是高级文本到语音生成的库。它建立在最新研究的基础上，旨在实现易于训练，速度和质量的最佳权衡。TTS配备了预验证的模型，用于测量数据集质量的工具，并且已经以20多种语言用于产品和研究项目。...
408 | 考前知识拾遗
"You are worthy! You can do it!"
12-19 2335
DNSgetIP地址、建立TCP连接、发送报文、四次挥手一系列过程。2、报文字段、切分分组子网、子网掩码。1、网关配置、路由表、网络可达性。在⼀棵红⿊树中，如果所有结点都是⿊的，那么它的形态⼀定是满⼆叉树。选择题、⼤题简答题中可能出现的考法：给你⼀段C。复习虚拟⽂件系统、⽂件系统挂载的基础课课件。潜在考点：平衡二叉树 画图、树和森林 孩子兄弟数据结构。TCP协议：三次握手、四次挥手。虚拟⽂件系统、⽂件系统的挂载。红黑树、并查集（克鲁斯卡尔、环路、连通分量）数据交换方式——怎么算时间。
【深度学习】 学习率lr(Learning Rate)对精度和损失值的影响
thenewestbigman的博客
10-16 5877
通过设置不同学习率（lr）发现，训练精度随着学习率的减小在模型训练次数较多的背景下渐趋平稳，逐渐稳定在某一个较小的区间内，但当学习率变得太小的时候，相同周期内的训练精度可能相对变得较低
深度学习：batch_size和学习率 及如何调整
热门推荐
皮皮blog
10-21 3万+
-柚子皮- 学习率衰减 import torch.optim as optim from torch.optim import lr_scheduler # 训练前的初始化 optimizer = optim.Adam(net.parameters(), lr=0.001) #学习率衰减 scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch，学习率乘以0.1 # 训练过程中 for n in n_epoch: ...
【无标题】pytorch学习率对精度和损失的影响研究
weixin_45486294的博客
10-16 2160
pytorch学习率对精度和损失的影响研究
损失函数 Loss、梯度 grad、参数 ω 和 学习率 lr 之间的关系
拾贝壳
06-17 1万+
举一个最简单的函数 y=x2y = x^2y=x2，梯度为 g(x)=∂y∂x=2xg(x) = \frac{\partial{y}}{\partial{x}} = 2xg(x)=∂x∂y​=2x。设学习率为 lrlrlr，那么 更新一次梯度后为：x1=x0−lr∗g(x0)=x0−lr∗2x0=(1−2∗lr)x0x_1 = x_0 - lr * g(x_0) = x_0 - lr * 2x_0 = (1 - 2 * lr)x_0x1​=x0​−lr∗g(x0​)=x0​−lr∗2x0​=(1−2∗lr
学习率的调整策略以及loss函数的设定总结
weixin_41630455的博客
06-11 4298
我们知道，深度学习过程的本质，实际上是在网络构建好、以及loss计算方式确认的情况下。用loss对模型总可学习参数求梯度值乘以学习率来更新模型里面的相关学习参数。那么学习率我们应该如何设定呢？ 最朴素的思路是，学习率要先大后慢慢变小。因为一开始参数初始化后距离他的最优解距离通常来说是比较远的。我们要一开始以较大的学习率把参数更新到离最优值比较近的位置，然后在减小学习率来进行微调，达到使学习参数尽可能的接近最优值的目的。如下图所示红线是我们想要的最佳效果。 已知的学习率调整策略也是多样的，但是其本质都
Numpy 函数拾遗
Jeff zhao
05-09 194
函数原型： numpy.random.uniform(low,high,size) 功能：从均匀分布[low,high)中随机采样. 参数介绍: low: 采样下界，float类型，默认值为0； high: 采样上界，float类型，默认值为1； size: 输出样本数目，为int或元组(tuple)类型，例如，size=(m,n,k), 则输出m*n*k个样本，缺省时输出1个值。 返回值：ndarray类型，其形状和参数size中描述一致。 plt.h...
原始论文拾遗之BP算法
qq_46110834的博客
12-10 1272
首先献上BP算法的论文名《Learning representations by back-propagating errors》需要的同学可以谷歌自取啦~ 首先声明，这篇文章不讲BP算法或者MLP的机理，仅记录总结一些Hinton在论文中提到的重要技巧，这些技巧在视频或者其它博客是不容易看到的。记录在此，一是为了自己归纳总结，二是基于开源精神，希望能帮大家在自学的路上少一些苦难。 正文： ...
01 梯度下降、学习率、损失函数
归根结底不优秀的博客
08-23 580
概念引入 基于一个自变量x，比如时间，我们可以得到其对应的观测值y，比如温度值。不停的观测，我们可以得到一系列的真实对应关系：(时间，温度的真实值)，即(x1, y1)，(x2, y2), ..., (xn, yn)。 现在我们知道了温度和时间之间是呈正比例关系的，即y = k*x。很显然，我们不知道k应该取到多少，但是我们可以假设。 现在我们假设k=2，也就是我们猜想温度和时间的关系是 y=2*x。那么由上述得到的真实对应关系，我们可以得到一系列预测对应关系：(时间，温度的预测值)，即(x1, 2
深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题（二）
AIGC | 智能洞察，创造未来
04-23 3万+
过拟合 梯度弥散 batchsize 不平衡数据集
机器学习——学习率（Learning Rate）
最新发布
weixin_51401355的博客
04-15 9593
3、初始的学习率可以随意选择来试探，如果发现loss损失值下降得过快，则需要降低学习率。学习率一般指在计算损失函数Loss时，控制函数自变量的变化大小（通常自变量为训练周期epoch），以使得因变量（损失值）渐趋最小或局部最小。在深度学习中，我们希望每次训练的损失值越小越好，学习率正是用来降低损失值的一个影响自变量的常量。2、三五层的网络学习率基本要小于1*e^(-5)，不然会出现下降过快从而导致震荡的情况。1、在网络很复杂的情况下，学习率不能过低，否则传到后面的时候就会出现梯度消失的情况。
神经网络-实现学习率随迭代次数变化
Fitz_p的博客
07-09 6065
1.需要变化的学习率的原因:经历一段时间的学习之后,我们距离目标值越来越近,此时如果学习率太大,则会造成训练在最优值附近来回波动,这时候我们就需要减少学习率2.实现:学习率是在Optimizer中使用,我们每次迭代通过tf.assign修改学习率3.note:    tf.assign(ref, value, validate_shape=None, use_locking=None, name=...
深度学习基础 贰：损失函数与梯度下降
白拾的博客
11-30 3842
注：封面画师：新雨林-触站 说明 本页面无手机端适配，强制缩放阅读。 使用纯html格式，保存教学用ppt，添加了部分个人笔记。 目录工作正常，可以跳转。 b{color:rgba(0,0,0,0.75)} 损失函数与梯度下降 损失函数与梯度下降 损失函数 损失函数的作用 什么是损失函数 梯度下降 常用的损失函数 什么是梯度 梯度下降 导数与偏导数 学习率 梯...
谷歌机器学习速成课程---3降低损失 (Reducing Loss)：学习速率
dingpangxie3730的博客
03-02 196
正如之前所述，梯度矢量具有方向和大小。梯度下降法算法用梯度乘以一个称为学习速率（有时也称为步长）的标量，以确定下一个点的位置。例如，如果梯度大小为 2.5，学习速率为 0.01，则梯度下降法算法会选择距离前一个点 0.025 的位置作为下一个点。 超参数是编程人员在机器学习算法中用于调整的旋钮。大多数机器学习编程人员会花费相当多的时间来调整学习速率。如果您选择的学习速率过小，就会花费太...
学习率的理解
mxh3600的博客
04-18 1万+
定义： 将输出误差反向传播给网络参数，以此来拟合样本的输出，本质上是最优化的一个过程，逐步趋向于最优解，但是每一次更新参数利用多少误差，就需要通过一个参数来确定，这个参数就是学习率，也称步长 学习率作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到局部最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。 学习率是指导我们，在梯度下降法中，如何使用损失函数的梯度调整网络权重的超参数 new_weight = old_weight - learnin
Keras中如何设置学习率和优化器以及两者之间的关系
AI量化交易实验室
06-01 9868
Keras对优化器和学习率做了很好的封装，以至于很多人搞不清楚怎么设置学习率，怎么使用优化器，两者到底有什么区别。
机器学习：如何找到最优学习率
whut_ldz的博客
12-23 2万+
原文见点击打开链接 学习率的重要性 目前深度学习使用的都是非常简单的一阶收敛算法，梯度下降法，不管有多少自适应的优化算法，本质上都是对梯度下降法的各种变形，所以初始学习率对深层网络的收敛起着决定性的作用，下面就是梯度下降法的公式 [Math Processing Error]w:=w−α∂∂wloss(w) 这里[Math Processing Error]α就是学习率
C语言拾遗：结构体成员函数与面向对象概念
"本章是C语言学习的拾遗部分，包括结构体成员函数、C语言中的bool类型、预编译指令与条件编译以及位运算与位段结构。通过这些知识点的学习，可以帮助读者深入理解C语言的高级特性和编程技巧。" 在C语言中，结构体是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值