7.1 优化器的定义、基本属性和基本方法

最新推荐文章于 2024-09-08 09:30:00 发布
最新推荐文章于 2024-09-08 09:30:00 发布
阅读量674 收藏 1
点赞数
分类专栏： 11 Python/DL/ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pengchengliu/article/details/108772794
版权
本文详细探讨了优化器在深度学习中的角色，包括其定义、基本属性和常用方法，如梯度下降、动量法以及Adam等优化算法的原理与实践效果。
摘要由CSDN通过智能技术生成

 

 

 

上节课讲了损失函数，损失函数是衡量模型的输出与真实标签之间的差异。有了这个差异之后，怎么使用这个loss更新模型中的参数，使得我们的loss逐步降低呢？这就是优化器的工作。

 

 

1. 什么是优化器

 

更新的策略，通常采用梯度下降。

 

导数：

方向导数：

梯度：

 

 

 

2. optimizer的基本属性（4个）

 

defaults:优化器的超参数，主要存储一些学习率、momentum的值等等

state:用来存储参数的一些缓存。例如使用momentum的时候，需要用到前几次的梯度，就存在这。

params_groups:管理参数组。是一个list。list的每一个元素是一个字典。字典中有一个'params'的key，其对应的值才是真正的参数。

_step_count:更新的次数。

 

 

 

3. optimizer的基本方法࿰
最低0.47元/天 解锁文章
/home/liupc
关注
专栏目录
C ++属性访问器
04-08
在C++编程中，属性（Property）访问器是一种模拟面向对象语言如C#或Java中的属性功能的方法。这些语言中的属性允许开发者隐藏数据成员，并通过get和set方法控制对它们的访问，使得代码更加整洁且易于理解。在C++中，...
[PyTorch 学习笔记] 4.3 优化器
张贤的博客
09-03 523
本章代码： https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/optimizer_methods.py https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson4/momentum.py 这篇文章主要介绍了 PyTorch 中的优化器，包括 3 个部分：优化器的概念、optimizer 的属性、optimizer 的方法。 优化器的概念 PyT.
【PyTorch】4.3 优化器Optimizer(一)
尊新必威的博客
06-30 699
目录一、复习：机器学习模型训练步骤二、什么是优化器三、Optimizer基本属性三、Optimizer基本方法 任务简介： 学习优化器optimizer的基本属性、基本方法和作用。 详细说明： 本节学习优化器的基本概念，了解pytorch中optimizer的基本属性和方法 一、复习：机器学习模型训练步骤 二、什么是优化器 梯度指向的是当前点函数值增加最快的方向，梯度下降是指沿着负梯度的方向函数值减少最快。故梯度下降法可以使loss的值逐步减小。 三、Optimizer基本属性 三、Optimiz
大模型训练中优化策略（数据并行、模型并行、ZeRO等）
最新发布
2401_84204413的博客
09-08 718
在微调时，模型显存占用主要包括和四个部分。对于一个参数量的模型，它的模型参数占用为：将模型参数视为基准，模型梯度占用量与模型参数相同。优化器主采用，它核心计算公式如下：由于需要保存 m 和 v，而 m 和 v 规模与参数梯度相同，因此优化器需要两倍显存容量。同时，在计算中得到的中间结果需要保存在显存中，以便反向传播时计算梯度。对于每一个中间结果，其数据形状为 [Batch, SeqLen, Dim]。
PyTorch学习—13.优化器optimizer的概念及常用优化器
柳杰的博客
08-16 1万+
文章目录引言一、什么是优化器？二、optimizer的基本属性三、optimizer的基本方法四、方法实例1.optimizer.step()2. optimizer.zero_grad()3. optimizer.add_param_group()4. optimizer.state_dict()5. optimizer.load_state_dict() 引言   本文学习优化器optimizer的基本属性、基本方法和作用 一、什么是优化器？   pytorch的优化器：管理并更新模型中可学习参数的值，
简单粗暴PyTorch之优化器
qq_36642243的博客
08-19 2824
优化器一、优化器属性与方法二、 一、优化器属性与方法 pytorch的优化器： 管理并更新模型中可学习参数的值，使得模型输出更接近 真实标签 导数：函数在指定坐标轴上的变化率 方向导数：指定方向上的变化率 梯度：一个向量，方向为方向导数取得最大值的方向 基本属性 • defaults：优化器超参数 • state：参数的缓存，如momentum的缓存 • params_groups：管理的参数组，list中有个字典 • _step_count：记录更新次数，学习率调整中使用 基本方法 • zero_gra
pytorch学习笔记十二：优化器
Dear_learner的博客
03-22 4812
前言 机器学习中的五个步骤：数据 ——> 模型 ——> 损失函数 ——> 优化器 ——> 迭代训练，通过前向传播，得到模型的输出和真实标签之间的差异，也就是损失函数，有了损失函数之后，模型反向传播得到参数的梯度，接下来就是优化器根据这个梯度去更新参数，使得模型的损失不断降低，那么优化器是如何做到的呢？分别从三个方面了解一下，优化器的概念，优化器的属性和方法，常用的优化器。 一、什么是优化器 pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。 在更新参
管理powerHA systemMirror HA v7.1
11-07
- **创建集群**：定义集群的基本属性，包括名称、成员节点等。 - **配置资源组**：定义资源组，指定哪些应用和服务应该被 PowerHA 管理。 - **设置节点角色**：指定每个节点在集群中的角色（主节点或备用节点）。 - ...
MicrosoftSDKs-Win-v7.1A.zip
04-17
3. **开发工具**：除了库和头文件外，v7.1A还包含了编译器、链接器、调试工具和其他开发工具，这些工具可以帮助开发者构建、测试和优化他们的应用程序。 4. **文档**：SDKs提供了详尽的开发指南和API参考，这对于...
MDMConsole7.1
05-23
综上所述，SAP MDM Console 7.1 提供了一套全面的工具和功能，帮助企业管理和优化主数据，从而提升业务效率和决策质量。通过对上述概念的理解和应用，组织可以更好地利用 MDM 系统来支持其业务目标。
php7.0以及php7.1版本
06-26
1. **闭包改进**：支持匿名函数的return type declarations和类属性的默认值。 2. **void类型声明**：用于表示函数不返回任何值。 3. **nullable类型**：添加了问号（`?`）前缀，表示一个类型可以是NULL。 4. **废弃...
机器学习：各种优化器Optimizer的总结与比较
热门推荐
SanFancsgo的博客
04-26 13万+
优化器总结 机器学习中，有很多优化方法来试图寻找模型的最优解。比如神经网络中可以采取最基本的梯度下降法。 梯度下降法(Gradient Descent) 梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)，随机梯度下降法(SGD, Stochastic Gradient Descent)及批量梯度下降法(BGD, B...
简单例子说明优化器
u014611178的博客
10-24 185
简单例子说明优化器 我们会用下面的例子来说明优化器： 数据集： (x1,y1)=(1,3)(x2,y2)=(2,7)(x3,y3)=(3,8)(x4,y4)=(4,10)(x5,y5)=(5,14) (x_1,y_1) = (1,3) \\ (x_2,y_2) = (2,7) \\ (x_3,y_3) = (3,8) \\ (x_4,y_4) = (4,10) \\ (x_5,y_5) = (5,14) (x1​,y1​)=(1,3)(x2​,y2​)=(2,7)(x3​,y3​)=(3,8)(x4​,y4
【深度学习】优化器详解
LogosTR_的博客
08-25 6347
深度学习中常见的优化器
机器学习——优化器
jbkjhji的博客
11-10 1443
使用损失函数时，调用损失函数的backward得到反向传播。 反向传播求出需要调节参数对应的梯度。 梯度可以使用优化器，对梯度的参数进行调整。达到整体降低误差的目的。
优化器optimizer，BGD、SGD、MBGD、NAG、AdaGrad、Adadelta、RMSProp、Adam
zhaosuyuan的博客
05-28 726
优化器根据优化点不一样可分为三类： 基本的梯度下降法 动量优化法 自适应学习率优化法 可以理解为下山过程中，选择什么方向（梯度），以速度快慢（动量），什么大小的步幅下山（学习率），才会最快达到真正的山底。 基本优化法包括：批量梯度下降法BGD、随机梯度下降法SGD、小批量梯度下降法MBGD（SGD） 动量优化法包括：标准动量优化法Momentum，牛顿加速度动量优化法NAG 自适应学习率包括：AdaGrad、Adadelta、RMSProp、Adam算法 梯度下降法最小化目标函数，利用目标函
pytorch 优化器(optim)不同参数组，不同学习率设置
junqing_wu的博客
07-01 3万+
optim 的基本使用 for do: 1. 计算loss 2. 清空梯度 3. 反传梯度 4. 更新参数 cifiron = nn.MSELoss() optimiter = torch.optim.SGD(net.parameters(),lr=0.01,momentum=0.9) for i in range(iters): out = net(inputs) loss =...
神经网络参数 ----优化器
weixin_46969441的博客
11-01 1232
神经网络参数优化器 不同参数选取对网络影响比较大，在网络结构已经固定的情况下。 神经网络优化的过程，就好比 培养一个孩子。 它们都有学习的潜力，但是不同的引导方法，会让孩子向不同方向发展，达到不同的高度。 优化器 就是 引导神经网络更新参数的工具。 五种常用的神经网络优化器 相关概念 待优化参数 w 损失函数loss 学习率 lr batch 将多少个数据打包 当前batch的迭代次数 更新过程分为4步: 第一步： 计算t时刻，损失函数关于当前参数的梯度 就是loss函数，对每一个参数进行求偏导数..
神经网络深度学习（三）优化器
china1000的专栏
09-03 3880
神经网络优化器详解
Android 7.1 兼容性定义文档
"这是关于Google Android 7.1的兼容性定义文档，主要涵盖了硬件和软件在Android L平台上的各种需求和规范。这份文档由Google Inc.于2016年12月20日更新，旨在确保设备与Android 7.1系统的无缝协作。" 在Android 7.1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值