优化算法-momentum(动量法)

最新推荐文章于 2024-06-30 10:56:23 发布
最新推荐文章于 2024-06-30 10:56:23 发布
阅读量5.2k 收藏 11
点赞数 4
文章标签： 算法 深度学习 人工智能 随机梯度下降
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42109859/article/details/104848032
版权

关于梯度下降的三个算法：梯度下降，随机梯度下降，以及小批量皮杜下降已经在该篇博文中介绍：https://blog.csdn.net/weixin_42109859/article/details/104822335
但对梯度下降使用同一固定不变的超参数会引发一些问题。
例如当我们的目标函数为 f ( x ) = 0.1 x 1 2 + 2 x 2 2 f(\boldsymbol{x})=0.1x_1^2+2x_2^2 f(x)=0.1x12​+2x22​，学习率采用0.4时，其损失的迭代轨迹如下：
在这里插入图片描述
可以看到，同一位置上，目标函数在竖直方向（ x 2 x_2 x2​

最低0.47元/天 解锁文章
DevilXiao-CVer
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
momentum动量算法详解
qq_33270279的博客
10-29 4137
momentum动量算法详解 1.原理 先看作用： 保留历史梯度对现有梯度的影响，具有减小梯度震荡，加速模型训练的作用。 再看解释： 如图所示，红色为SGD+Momentum。黑色为SGD。可以看到黑色为典型Hessian矩阵病态的情况，相当于大幅度的徘徊着向最低点前进。 而由于动量积攒了历史的梯度，如点P前一刻的梯度与当前的梯度方向几乎相反。因此原本在P点原本要大幅徘徊的梯度，主要受到前一时刻...
Trading-with-Momentum:使用动量的非常简单的交易算法
04-24
在"Trading-with-Momentum:使用动量的非常简单的交易算法"中，我们将深入探讨如何构建一个基于动量的交易系统。首先，我们需要明确动量的度量方式。通常，动量可以通过计算资产价格在过去一段时间（如过去12个月）的...
动量优化法
qq_16032927的博客
03-10 809
介绍动量优化法，梯度下降法中的优化方法
动量法（Momentum）
最新发布
m0_51200050的博客
06-30 825
动量法通过引入动量项，使得参数更新不仅依赖于当前的梯度，还考虑了之前梯度的累积效果，从而加速收敛并减少参数更新时的震荡。通过具体数据示例，可以清楚地看到动量法如何在每次迭代中逐步更新动量项和参数，使模型逐步逼近最优解。
优化算法 - 动量法
yingzi的技术博客
09-16 1042
从构造来看，x2⽅向的梯度⽐⽔平x1⽅向的梯度⼤得多，变化也快得多。因此，我们陷⼊两难：如果选择较⼩的学习率，我们会确保解不会在x2⽅向发散，但要承受在x1⽅向的缓慢收敛。在优化问题条件不佳的情况下（例如，有些方向的进展比其他方向慢得多，类似狭窄的峡谷），“加速”梯度还额外享受更有效的好处。新的梯度替换不再指定特定实例下降最陡的方向，而是指向过去梯度的加权平均值的方向。唯一的变化是，在这种情况下，我们将梯度。在本节中，我们将讨论更有效的优化算法，尤其是针对实验中常见的某些类型的优化问题。
深度学习：算法优化之动量算法（Momentum）
m0_58475958的博客
08-01 4781
1.原理   运用物理学上的动量思想，在梯度下降的问题中引入动量项 mmm 和折扣因子 γ\gammaγ，公式为：mt=γmt+1m_t=\gamma m_{t+1}mt​=γmt+1​其中 mmm 是动量项mmm的指数加权平均后的值，γ\gammaγ表示历史梯度的影响力，也就是权重值，γ\gammaγ越大，权重越大。从直观上看，如果当前时刻的梯度与历史梯度方向趋近，这种趋势会在当前时刻加强，否则减弱。 2.指数加权平均   在分析动量算法之前，我们先来了解指数加权平均的含义。假定给一个序列，例如北京一年每
Momentum算法
小杨的博客
09-22 3402
Momentum的含义是‘动量’ # 为了解决SGD随机梯度下降算法的缺点，引入了Momentum # v表示在梯度方向上的受力 import numpy as np class Momentum: def __init__(self, learning_rate=0.01, momentum=0.9): self.learning_rate = learning_...
matlab马科维茨代码-Momentum-Trading-Optimization:动量交易优化
05-20
matlab马科维茨代码动量交易优化 财务优化建模的最终项目 在这个项目中，我们结合了简单的动量交易策略和Markovitz投资组合优化。 在确定多头/空头股票清单之后的每个重新平衡日，我们将此股票清单放入markovitz ...
Nyueumaiers-Momentum-Module:实施动量策略来分析交易
06-27
动量交易策略实施动量交易算法来分析交易并做出决策实施强调组件编程（将添加到令人兴奋的系统中） 包含交易数据的输入 CSV 文件（必须遵循 Aus Equities 订单簿格式的输入 - ) 输出包含交易决策的 CSV 运行'...
将动量法（momentum）融入误差反向传播算法（BP）的神经网络数据预测（Python源码+数据集）
02-10
使用Python建立三层神经网络进行数据预测，其中反向传播算法采用动量法（momentum）结合误差反向传播算法（BP），压缩包中包含文件如下：源码momentum.py主要用于使用训练数据集进行模型训练，生成对应的训练后模型...
梯度下降法的优化方法-梯度下降法
08-27
梯度下降法是机器学习和深度学习中常用的优化算法，用于寻找损失函数的最小值。主要分为批量梯度下降（Batch Gradient Descent, BGD）、随机梯度下降（Stochastic Gradient Descent, SGD）和小批量梯度下降（Mini-...
吴恩达深度学习Mini-batch Gradient Descent 以及Momentum、Adam算法Python亲测调通版本
12-27
自己微调版本，含注释和数据集，一个程序就能运行，是吴恩达深度学习课程的课后作业
优化算法 -- 动量法Momentum
a_Loki的博客
05-24 574
引入 对于普通的梯度下降算法，就是重复正向传播，计算梯度，更新权重的过程。 表示为： import torch import torch.nn as nn class Model(nn.Module): def __init__(self,in_feature=10,out_feature=3): super(Model, self).__init__() self.linear1 = nn.Linear(in_feature,13) self
梯度下降优化算法Momentum
qq_43374104的博客
06-25 4401
标题，基本原理，程序实现，总结 一. 基本原理 1.1 引入 Momentum算法在原有的梯度下降法中引入了动量，从物理学上看，引入动量比起普通梯度下降法主要能够增加两个优点。首先，引入动量能够使得物体在下落过程中，当遇到一个局部最优的时候有可能在原有动量的基础上冲出这个局部最优点；并且，普通的梯度下降法方法完全由梯度决定，这就可能导致在寻找最优解的过程中出现严重震荡而速度变慢，但是在有动量的条件下，物体运动方向由动量和梯度共同决定，可以使得物体的震荡减弱，更快地运动到最优解。 1.2 指数加权移动平均
momentum 动量法
xddwz的博客
02-20 462
参考：https://blog.csdn.net/tsyccnh/article/details/76270707?utm_source=distribute.pc_relevant.none-task 如果把梯度下降法想象成一个小球从山坡到山谷的过程，那么前面几篇文章的小球是这样移动的：从A点开始，计算当前A点的坡度，沿着坡度最大的方向走一段路，停下到B。在B点再看一看周围坡度最大的地方，沿着这个坡度方向走一段路，再停下。确切的来说，这并不像一个球，更像是一个正在下山的盲人，每走一步都要停下来，用拐杖来
深度学习中的Momentum算法原理
热门推荐
gaoxueyi551的专栏
04-01 1万+
一、介绍 在深度学习中，Momentum（动量）算法是对梯度下降法的一种优化， 它将物理学中物体的运动理论和梯度下降相结合，其特点是直观易懂，已成为目前非常流行的深度学习优化算法之一。 在介绍动量优化算法前，需要对指数加权平均法有所了解，它是动量优化算法的理论基础，可参见本人另外一篇博文：深度学习： 指数加权平均；其次，需要对物理运动理论稍有了解，以便在直观层面更好的理解该...
【优化算法】Momentum
weixin_43872912的博客
03-25 1299
引入一个参数自然有它的原因，那这里引入动量的原因是什么： 类似这张图，垂直方向的斜率比水平方向的斜率大很多，会导致很多没必要的偏移量，加入一下动量因子可以减少偏移量。 动量法与SGD不同的点在于，它保存了历史的梯度，就像图上画的，B点实际下降方向是A点下降方向和B点下降方向的共同决定的。 # coding=utf-8 """ 基于小批量梯度下降来实现的Momentum（动量） 参考：https://blog.csdn.net/bvl10101111/article/details/72615621 作用
机器学习动量优化算法笔记
天道酬勤
07-25 1093
动量优化算法引入了一个动量（Momentum）的概念，通过累积之前的梯度信息，模拟物体在运动过程中的惯性效应。通过加速梯度下降的收敛速度和提高稳定性，动量优化算法成为了深度学习中的一种重要优化算法，被广泛应用于各种神经网络的训练任务。传统的梯度下降算法在更新权重时，仅考虑当前批次的梯度方向和大小，根据梯度的反方向更新权重，使损失函数逐渐减小。动量优化算法（Momentum Optimization）的核心思想是模拟物体在惯性作用下的运动，以加速梯度下降过程，从而改进传统梯度下降算法的收敛速度和稳定性。
手动实现多分类的任务中实现momentum、rmsprop、adam优化器
07-24
在手动实现多分类任务中使用动量（momentum）、RMSProp和Adam优化器，需要了解这些优化算法的原理和实现步骤。以下是这些优化器的手动实现示例代码： 1. 动量优化器（Momentum）： ``` # 初始化动量参数 velocity = np.zeros_like(parameters) # 设置超参数 beta = 0.9 # 动量系数 learning_rate = 0.01 # 学习率 for epoch in range(num_epochs): # 正向传播 # ... # 反向传播 # ... # 更新参数 for param_name, param in parameters.items(): dparam = gradients[param_name] # 计算动量项 velocity[param_name] = beta * velocity[param_name] + (1 - beta) * dparam # 更新参数 parameters[param_name] -= learning_rate * velocity[param_name] ``` 2. RMSProp优化器： ``` # 初始化RMSProp参数 cache = np.zeros_like(parameters) # 设置超参数 beta = 0.9 # 衰减系数，控制历史梯度的权重 epsilon = 1e-8 # 防止除零错误的小常数 learning_rate = 0.01 # 学习率 for epoch in range(num_epochs): # 正向传播 # ... # 反向传播 # ... # 更新参数 for param_name, param in parameters.items(): dparam = gradients[param_name] # 计算RMSProp的缓存项 cache[param_name] = beta * cache[param_name] + (1 - beta) * np.square(dparam) # 更新参数 parameters[param_name] -= learning_rate * dparam / (np.sqrt(cache[param_name]) + epsilon) ``` 3. Adam优化器： ``` # 初始化Adam参数 m = np.zeros_like(parameters) # 一阶矩估计 v = np.zeros_like(parameters) # 二阶矩估计 # 设置超参数 beta1 = 0.9 # 一阶矩估计的衰减系数 beta2 = 0.999 # 二阶矩估计的衰减系数 epsilon = 1e-8 # 防止除零错误的小常数 learning_rate = 0.01 # 学习率 t = 0 for epoch in range(num_epochs): # 正向传播 # ... # 反向传播 # ... # 更新参数 for param_name, param in parameters.items(): dparam = gradients[param_name] # 更新一阶矩估计和二阶矩估计 m[param_name] = beta1 * m[param_name] + (1 - beta1) * dparam v[param_name] = beta2 * v[param_name] + (1 - beta2) * np.square(dparam) # 矫正一阶矩估计和二阶矩估计的偏差 m_hat = m[param_name] / (1 - np.power(beta1, t)) v_hat = v[param_name] / (1 - np.power(beta2, t)) # 更新参数 parameters[param_name] -= learning_rate * m_hat / (np.sqrt(v_hat) + epsilon) ``` 使用这些优化器需要注意的是，需要根据具体的网络结构和训练任务进行相应的修改和调整。这里提供的是一般性的实现示例，具体情况可能有所不同。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值