神经网络学习技巧之梯度下降训练策略

最新推荐文章于 2022-10-18 18:42:00 发布
最新推荐文章于 2022-10-18 18:42:00 发布
阅读量551 收藏
点赞数
分类专栏： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45739211/article/details/103881522
版权

梯度算法

  • 随机梯度下降SGD（Stochastic Gradient Descent）
  • 小批次梯度下降（Mini-batch Gradient Descent）
    在这里插入图片描述

批次梯度下降

利用全部训练数据集计算损失函数的梯度来执行一次参数更新
• 更新较慢
• 不能在线更新模型
• 对凸的损失函数可保证收敛到全局最小值；对非凸的损失函数可收敛到局部最小值
在这里插入图片描述

随机梯度下降

对每一个训练样本点和标签执行参数更新
• 速度快，可在线学习
• 梯度精度差，目标函数下降过程出现大幅波动 在这里插入图片描述

小批次梯度下降

每𝑛个训练样本点，进行一次参数更新
在这里插入图片描述
• Batch-GD和单样本SGD方法的折衷
• 减小了参数更新的方差，可平稳收敛
• 速度快，可利用优化的矩阵运算库来高效的计算梯度
• Batch大小根据问题来定。一般而言设为32、64、128或256即可。

存在问题

• 确定合适的学习率比较困难
– 小的学习率可保证收敛性，但收敛过程很慢
– 大的学习率会导致损失函数优化过程在最小值附近波动甚至发散
• SGD难以跳出局部极小值点和鞍点
– 神经网络对应的函数具有高度非线性
– 众多局部极小值点或鞍点
– 在极小值点或鞍点附近，目标函数值几乎不变，导致梯度近似为零

优化算法

• Momentum
• NAG
• Adagrad
• Adadelta
• RMSprop
• Adam

SGD+动量(Momentum)

动量（Momentum）可用来加速SGD
在这里插入图片描述
• 把过去时间步骤更新矢量的一部分（𝛾）加到当前更新矢量
• 速度的逐渐增加是作为梯度的移动平均
• 动量项𝛾 一般设为0.9。可理解为“摩擦”效果
在这里插入图片描述

Adam(Adaptive Moment Estimation)

Adam是一种为每一参数计算自适应学习率的方法
存储过去梯度平方的指数衰减平均值𝑣𝑡；保留了过去梯度的指数衰减平均值𝑚𝑡，类似动量 。
在这里插入图片描述
𝑚𝑡 和𝑣𝑡分别是一阶矩(均值) 和梯度二阶矩(有偏方差) 的估计值
参数 𝛽1、𝛽2 ∈ [0, 1) 控制了这些移动均值（moving average）指数衰减率。
计算含有偏差校正（bias-corrected）的一阶矩和二阶矩 的估计:
在这里插入图片描述
Adam更新规则:
在这里插入图片描述

母狼disco
关注
专栏目录
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
神经网络十大学习率衰减提效策略
炼丹笔记
06-09 517
神经网络十大学习率衰减提效策略！目前越来越多非结构化问题的出现，神经网络也扮演着愈加重要的作用。一个好的神经网络对于最终任务的预测至关重要，但要得到一个好的神经网络则需要考虑众多的因素，本文我们重点介绍神经网络中调参重学习率衰减的调节策略。本文介绍目前tensorflow中的9大学习率衰减策略。exponential_decay = learning_rate_decay.exponential_...
人工神经网络——学习策略
一地鸡毛的博客
05-02 1840
本文介绍了网络模型学习策略，对损失函数、代价函数、风险函数和目标函数的区别和联系进行了详细介绍。本文章同样适用于其他机器学习模型。
神经网络高效学习的相关技巧
jindaxiaoooo的博客
09-21 301
目录1、参数的更新：1.1SGD（随机梯度下降法）：1.2 Momentum1.3 AdaGrad1.4 Adam1.5 使用哪种优化方法呢？2、权重的初始值2.1可以直接把权值初始值设置为0吗？2.2隐藏层的激活值的分布2.3ReLu的权重初始化3、Batch Normalization（批标准化）4、正则化4.1 过拟合4.2 权值衰减4.3 Dropout5、超参数的验证：5.1验证数据5.2超参数的最优化：小结： 本章将介绍神经网络的学习中的一些重要观点，主题涉及寻找最优权重参数的最优化方法、权重参
神经网络训练梯度算法详解
山里娃的博客
08-27 3464
目录 文章目录题目The basic definitionThe motivationPaper detailed introduction梯度下降变体批梯度下降随机梯度下降算法小批量梯度下降法MBGDChallengesGradient descent optimization algorithmsMomentumNesterov accelerated gradientAdaGradRMSPr...
神经网络学习技巧
dihe3772的博客
03-01 114
1.工作流程 定义问题 假设根据已知数据可以预测结果 面对的问题是什么类型问题，二分类、多分类、回归…… 选择衡量模型好坏的指标，指标用来指示损失函数，常用的是准确率、召回率 数据分割，留出部分数据评估模型好坏（测试集），留出部分数据调节超参数（验证集），留出部分数据训练模型（训练集），验证集和训练集的分割可以使用留出验证集、K折交叉验证、重复k折交叉验证 选...
一个三层神经网络模板，采用梯度下降算法，支持保存和读取训练好的网络.zip
08-25
梯度下降算法是神经网络训练过程中的关键部分，用于优化权重参数。它是一种迭代方法，目标是找到使损失函数最小化的权重值。损失函数衡量了模型预测与实际结果之间的差异。在每一步迭代中，梯度下降算法计算损失函数...
基于小波神经网络的多分类代码，基于自适应学习率动量因子梯度下降BP神经网络，最小二乘BP神经网络
08-01
`CODE6_wavelet_nn.m` 文件可能是另一种形式的小波神经网络实现，可能采用了不同于`wnntrain.m` 的网络结构或训练策略。 `CODE4_WNN_main.m` 文件可能是小波神经网络的主程序，负责整合所有子模块，进行数据预处理...
不通过梯度下降来训练神经网络：一个可扩展的ADMM途径
最新发布
06-21
在神经网络的训练过程中，传统的优化方法如梯度下降及其变种（如随机梯度下降、Adam等）占据了主导地位。然而，这些方法在处理大规模数据集或分布式环境时可能会遇到挑战，例如计算效率低、收敛速度慢以及参数同步...
线性回归算法，close-form, batch 梯度下降，mini-batch 梯度下降，随机梯度下降，RMSE.zip
08-25
梯度下降法是神经网络训练的核心，它们的选择和参数设置对模型的训练速度和最终性能有重大影响。 code_resource_01 文件可能包含了实现这些算法的代码示例，包括线性回归模型的构建、不同梯度下降策略的实现以及...
梯度累加策略对准确率的影响
东方佑
09-16 723
使用梯度累加策略来减小显存这样小的显存也可以跑大的batch_size 那么就看看这种等效大的batch_size 会不会损失准确率吧
【BP神经网络】使用反向传播训练多层神经网络的原则+“常见问题”
RToax
05-17 1112
（Principles of training multi-layer neural network using backpropagation）使用反向传播训练多层神经网络的原则（The project describes teaching process of multi-layer neural network employing backpropagation algorithm. To ...
神经网络中的梯度是什么,神经网络梯度公式推导
wenangou的博客
10-18 3580
累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0神经网络梯度是什么。在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。根本原因是sigmoid函数的缺陷。1、好的初始化方法，逐层预训练，后向传播微调。2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。避免梯度消失和梯度爆炸的方案：使用新的激活函数Sigmoid 函数 和 双曲正切函数都会导致梯度消失的问题。
BATCH批量训练和梯度下降动量法（李宏毅老师机器学习2021笔记）
TVfan的博客
03-18 1293
优化问题
让PyTorch训练速度更快，你需要掌握这17种方法
北国觅梦
01-17 870
参考链接：https://mp.weixin.qq.com/s/hvlr098BxWOf6C8zO0UvYg 1. 考虑换一种学习率 schedule 学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural Networks Using La
梯度下降法
weixin_51030341的博客
09-27 1万+
梯度下降法 梯度下降法简介 梯度下降法，又称最速下降法，是一个一阶最优化算法，迭代法的一种，可以用于求解最小二乘问题（线性和非线性都可以） 基本思想 可用下山举例说明，将小人看作J（ω），即表示目标函数，目的地是最低点。而中间如何到达最低点则是我们需要解决的问题。下山路有千万种，想要快速的到达，就需要选择最陡的地方下山。在当前位置求偏导，即我们所讨论的梯度，正常的梯度方向类似于上山的方向，是使值增大的， ...
神经网络权重是什么意思,神经网络权重调整方法
Supermen333的博客
09-18 7324
另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题（也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力），这种方法比起正式的逻辑学推理演算更具有优势。神经网络的权值是通过对网络的训练得到的。神经网络的基本原理是：每个神经元把最初的输入值乘以一定的权重，并加上其他输入到这个神经元里的值（并结合其他信息值），最后算出一个总和，再经过神经元的偏差调整，最后用激励函数把输出值标准化。神经网络的权值是通过对网络的训练得到的。
谈谈深度学习中的 Batch_Size
热门推荐
程引的专栏
11-12 14万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
神经网络的三种训练方法,神经网络训练过程详解
神器榜
09-01 5862
deeplearinig就是神经网络的一类，就是解决的训练问题的深层神经网络，所以你这问题“深度学习会代替神经网络‘就不对，BP么，BP有自己的优势，也是很成熟的算法，做手写识别等等效果已经商用化了，不会被轻易替代。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值