几种加速训练方法，优化器

最新推荐文章于 2024-08-24 09:48:55 发布
最新推荐文章于 2024-08-24 09:48:55 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： Learning notes TensorFlow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fzp95/article/details/83018744
版权

摘自莫烦python中关于TensorFlow的讲解

传统的参数更新方式如下，传统的参数 W 的更新是把原始的 W 累加上一个负的学习率(learning rate) 乘以校正值 (dx).这种方法可能会让学习过程曲折无比, 看起来像 喝醉的人回家时, 摇摇晃晃走了很多弯路.
在这里插入图片描述

Stochastic Gradient Descent (SGD) 随机梯度下降法

略

Momentum

Momentum 相当于利用了下降的惯性，把这个人从平地上放到了一个斜坡上, 只要他往下坡的方向走一点点, 由于向下的惯性, 他不自觉地就一直往下走, 走的弯路也变少了
在这里插入图片描述

AdaGrad

他的作用和 momentum 类似, 不过不是给喝醉酒的人安排另一个下坡, 而是给他一双不好走路的鞋子, 使得他一摇晃着走路就脚疼, 鞋子成为了走弯路的阻力, 逼着他往前直着走.
在这里插入图片描述

RMSProp

RMSProp同时具备以上两种方法的优势. 不过 RMSProp 还没把 Momentum合并完全, 还缺少了红框中的一部分. 所以, Adam的方法中补上了这种想法.
在这里插入图片描述

Adam

计算m 时有 momentum 下坡的属性, 计算 v 时有 adagrad 阻力的属性, 然后再更新参数时 把 m 和 V 都考虑进去. 实验证明, 大多数时候, 使用 adam 都能又快又好的达到目标, 迅速收敛
在这里插入图片描述

Momentum、AdaGrad、RMSProp、Adam都是在学习率上做文章

TensorFlow提供了一下几种优化器：
在这里插入图片描述

Fan72
关注
专栏目录
详谈大模型训练和推理优化技术
夏栀的博客
05-19 1万+
本文介绍大模型的训练和推理优化技术，包括混合精度训练、分布式训练DeepSpeed、INT8模型量化、参数有效性学习、混合专家训练、梯度检查点、梯度累积、Flash Attention等。
大模型训练显存优化推理加速方案
orangerfun的博客
09-22 1614
当前的深度学习框架大都采用的都是fp32来进行权重参数的存储，比如Python float的类型为双精度浮点数fp64，pytorch Tensor的默认类型为单精度浮点数fp32。随着模型越来越大，加速训练模型的需求就产生了。在深度学习模型中使用fp32主要存在几个问题，第一模型尺寸大，训练的时候对显卡的显存要求高；第二模型训练速度慢；第三模型推理速度慢。其解决方案就是使用低精度计算对模型进行优化。本文主要讲解几种优化显存存储的方法。
加速神经网络训练（Speed UpTraining)
qq_42016781的博客
12-29 1611
学习资料 英文学习资料 PyTorch 可视化优化器 今天我们会来聊聊在怎么样加速你的神经网络训练过程 包括以下几点： Stochastic Gradient Descent(SGD) Momentum AdaGrad RMSProp Adam 越复杂的神经网络 , 越多的数据 , 我们需要在训练神经网络的过程上花费的时间也就越多. 原因很简单, 就是因为计算量太大了. 可是往往有时候为了...
加速训练的方法
SeventhBlue
12-17 715
加速模型训练的方法总结： 1.良好的初始化策略 使用Xavier初始化（当使用逻辑激活函数时）或者He初始化（使用ReLU或者ReLU变种以及ELU激活函数时）。 2.良好的激活函数 激活函数选择顺序：SELU函数>ELU函数>leaky ReLU函数（和它的变种）>ReLU函数>tanh函数>逻辑函数。 如果关心运行时性能，可以尝试leak...
优化器Optimizer
最新发布
Caleb_X的博客
08-24 682
其中，g(t) 是当前时间步的梯度，v(t) 是当前的动量，β是动量因子，通常设为0.9。
大数据学习笔记之四十六 深度学习训练加速方法
xuqiaobo的博客
03-07 3211
深度学习训练的目的有以下几种： 1)网络结构选择 2)神经元个数的设定 3)权重参数的初始化 4)学习率的调整 5)Mini-batch的调整 常见的深度学习训练的方法有6种： 1)GPU急速 2)数据并行 3)模型并行 4)数据并行和模型并行的混合模式 5)CPU集群 6)GPU集群
加速神经网络训练方法及不同Optimizer优化器性能比较
Jaster_wisdom的专栏
04-09 5555
本篇博客主要介绍几种加速神经网络训练的方法。我们知道，在训练样本非常多的情况下，如果一次性把所有的样本送入神经网络，每迭代一次更新网络参数，这样的效率是很低的。为什么？因为梯度下降法参数更新的公式一般为：如果使用批量梯度下降法（一次性使用全部样本调整参数），那么上式中求和那项的计算会非常耗时，因为样本总量m是一个很大的数字。那么由此就有了第一种加速方法：随机梯度下降法，简称SGD。 它的思想是，将...
小白都理解的人工智能系列（13）——如何加速神经网络训练过程
01-27 1563
问题1：如何加速训练？ SGD将大的数据拆分成一块块小的数据进行训练。 Momentum通过不断调整w值的形式，朝着梯度往下走，以期尽快达到终点。 AdaGrad方式类似于一个鞋子，一走弯路，就让你摔倒，让你不得不走直路，尽快到底目的地。 Adam是结合两者一起，大部分情况下都适用。
Tensorflow--优化器optimizer--加速神经网络训练
qq_33472146的博客
06-18 750
Tensorflow中常见的优化器有以下几种： 目前个人比较常用的是第二种优化器。 加速神经网络的训练有以下几种方法： 1.SGD（Stochastic Gradient Descent）随机梯度下降法 它的思想是，将样本数据挨个送入网络，每次使用一个样本就更新一次参数，这样可以极快地收敛到最优值，但会产生较大的波动。还有一种是小批量梯度下降法，它的思想是，将数据拆分成一小批一小批的，分批送入神...
机器学习中常见的几种优化方法.docx
10-25
本文主要讨论了几种常见的优化算法，包括梯度下降法、牛顿法和拟牛顿法、共轭梯度法以及启发式优化方法，并简要提及了解决约束优化问题的拉格朗日乘数法。 1. **梯度下降法**是最基础的优化算法，它沿着目标函数...
Keras SGD 随机梯度下降优化器参数设置方式
09-16
Keras作为一种流行的深度学习框架，提供了多种优化器来帮助用户训练神经网络。其中，**随机梯度下降（SGD）**是最基本也是最常用的优化器之一。本文旨在详细介绍Keras中SGD优化器的参数设置方式，包括参数的意义、...
优化神经网络的方法，加速训练
嘘、小点声。
03-21 336
1.BGD法。batch gradient descent批梯度下降 2.SGD法。stochastic gradient descent随机梯度下降，也称MBGD minibatch gradient descent 3.Momentum法。模拟动量 4.Nesterov Momentum法，对3的改进。 5.Adagrad法，适应不同的学习率。 6.Adadelta法。用一...
tensorflow定义多个优化器加速Embedding的训练
cdj0311的专栏
07-10 2929
在遇到大规模推荐算法训练时，我们常常会有不同种类的特征，大体上可分为稀疏特征和稠密特征两类。 稀疏特征一般会经过Embedding转为稠密特征再传入全连接层。然而，当稀疏特征中包含大量ID类特征时，由于其原始维度非常高（如UserID几乎都是千万级以上），训练如此庞大的Embedding时会非常缓慢。一种解决方案是增大学习率，但学习率过大又会影响稠密特征（如一些向量特征）的训练，所以可以设计两个优化器分别以不同的学习率去优化稀疏Embedding和稠密特征。 这里以tf.estimator + tf.f
模型加速
Loong Cheng的博客
03-31 421
最近在学习加速方法。总结大概分3类 数学方法 权重优化 模型结构 方法1和方法2都是对训练好的模型，进行优化处理。方法1一般不会改变模型的精度，方法2会对精度有影响，并且只能针对冗余权重。而第三种方法，一般都是修改模型，也就是训练时候，就是用优化的模型结构。说的再多，他们之间也有相通的比如可以把权重矩阵分解理解成数学方法。具体内溶，还在总结整理代码中。 ...
加速训练的优化方法
yleave的博客
08-14 446
一、BGD 法   BGD 的全称是 batch gradient descent ，即批梯度下降。这种方法是利用现有的参数对训练集中的每一个输入生成一个估计输出 yiy_iyi​，然后跟实际输出 yiy_iyi​ 比较，统计所有误差，求平均值后得到平均误差，以此作为更新参数的依据。它的迭代过程为： 提取训练集中的所有内容 {x1,...,xnx_1,...,x_nx1​,...,xn​}，以及...
模型加速技术
yunxinan的专栏
06-22 550
Hardware Aware Neural Network Architectures using FbNet 受FBNet启发的可微分神经架构搜索NAS方法，用于发现针对特定目标设备进行了大量优化的神经网络。 FBNet NAS方法通过优化损失函数来发现来自给定搜索空间的神经网络，该函数考虑了准确性和目标设备延迟。我们通过添加能量项来扩展这种损失函数。这将有可能增强硬件意识，并帮助我们找到在准确...
【机器学习】【深度学习】优化器（Optimizer）
SmallBamboo的博客
06-08 4531
优化器(Optimizer)是深度学习中的一个核心的概念，用于更新神经网络的权重，以减少或最小化损失函数(loss function)的值。损失函数衡量了模型的预测值与真实值之间的差异，而优化器的目标是通过调整网络参数来最小化这个差异，从而提高模型的准确性和性能。在神经网络训练过程中，优化器在反向传播过程中起着至关重要的作用。反向传播计算了损失函数相当于模型参数的梯度(即损失函数的导数)，优化器则使用这些梯度来更新模型的参数。
常用的优化器合集
热门推荐
caip12999203000的博客
10-22 1万+
总结了常用的优化器（SGD、Adagrad、Adadelta、RMSprop、Adam、Adamax、Nadam等等。），其中包括梯度下降法、动量优化法和自适应学习率优化算法三种，分别从原理、公式、优缺点以及pytorch及tensorflow2的官方代码展示这几个方面进行演示，最后可视化对比了各个优化器之间的效果以及如何选择优化器。
什么是优化器
m0_60388871的博客
02-20 981
优化器（Optimizer）是深度学习中一个核心的概念，用于更新神经网络的权重，以减少或最小化损失函数（loss function）的值。损失函数衡量了模型的预测值与真实值之间的差异，而优化器的目标是通过调整网络参数来最小化这个差异，从而提高模型的准确性和性能。在神经网络训练过程中，优化器在后向传播（backpropagation）过程中起着至关重要的作用。后向传播计算了损失函数相对于模型参数的梯度（即损失函数的导数），优化器则使用这些梯度来更新模型的参数。
神经网络训练图像模型的几种方法
05-12
神经网络训练图像模型的几种方法包括： 1. 随机梯度下降法（SGD）：这是最常用的一种方法，它...以上是神经网络训练图像模型的几种方法，不同的算法适用于不同的网络结构和优化目标，需要根据具体情况选择合适的方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值