pytorch学习笔记(各种优化算法的变式)

最新推荐文章于 2024-07-04 22:50:27 发布
最新推荐文章于 2024-07-04 22:50:27 发布
阅读量609 收藏 1
点赞数
分类专栏： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eilot_c/article/details/86763281
版权
本文介绍了PyTorch中几种常见的优化算法，包括梯度下降法、SGD、Momentum、Adagrad、RMSprop和Adam。SGD在大数据集上使用，Momentum利用动量帮助越过局部最小值，Adagrad和RMSprop通过自适应学习率改进，而Adam结合了RMSprop和Momentum的优点，通常作为默认优化器。
摘要由CSDN通过智能技术生成

梯度下降法

         梯度下降法的更新公式：

\Theta ^{i}=\Theta ^{i-1}-\eta \bigtriangledown L(\Theta ^{i-1})

梯度下降法的变式

1.SGD

        随机梯度下降法是梯度下降法的一个小变形,就是每次使用一批(batch)数据进行梯度的计算,而不是计算全部的数据的梯度,因为现在深度学习使用的数据量都特别的大,所以每次计算所有的梯度都是不现实的,这样会导致运算时间过长,同时每次都计算全部的梯度还失去了一些随机性,容易引入一些局部误差,所以使用随机梯度下降法可能每次都不是朝着真正的最小的方向,但是这样反而容易跳出局部极小点。

2.Momentum

       第二种优化方法就是在随机梯度下降的同事，增加动量（Momentum）。这来自于物理中的概念，可以想象 损失函数是一个山谷，一个球从山谷滑下来，在一个平坦的地势，球的滑动速度就会慢下来，可能会陷入一些鞍点或者局部极小值点，如下图所示。

         这时候给它增加动量就可以让它从高处滑落的势能转换为平地的动能，相当于

最低0.47元/天 解锁文章
eilot_c
关注
专栏目录
PyTorch优化函数
远方
03-08 1468
PyTorch优化器导入 文章目录一、导入PyTorch二、定义模型三、导入优化器导入优化器1 :梯度下降法SGD导入优化器2 :SGD+momentum导入优化器3 :Adagrad导入优化器4 :RMSprop导入优化器5 :Adadelte导入优化器6 :Adam 一、导入PyTorch import torch import torch.nn as nn 二、定义模型 net = nn....
PyTorch自定义优化器
sunlanchang的博客
12-03 3289
简单粗暴的方法直接更新参数： def myopt(): pre=[] #pre储存当前梯度与历史梯度方向是否一致的信息 lr=[] #lr储存各层各参数学习率 vdw=[] #vdw储存各层各参数动量 y_pred = net(x) loss = loss_func(y_pred, y) net...
pytorch的几种优化算法
zxyjune的博客
02-17 1265
原文链接：https://www.jianshu.com/p/1a1339c4acd7（侵删！！！！） 一、SGD（stochastic gradient descent）随机梯度下降 优点:     虽然SGD收敛比较波折，但是对梯度的要求很低（计算梯度快）。而对于引入噪声，大量的理论和实践工作证明，只要噪声不是特别大，SGD都能很好地收敛。应用大型数据集时，训练速度很快。比如每次从百万数据...
【pytorch扩展】CUDA自定义pytorch算子（简单demo入手）
最新发布
木盏
07-04 434
Pytorch作为一款优秀的AI开发平台，提供了完备的自定义算子的规范。我们用torch开发时，经常会因为现有算子的不足限制我们idea的迸发。众所周知，CUDA/C++都是编译性语言，编译以后再调用会比python这种解释性语言更快。所以，我们需要对CUDA有一个编译过程。直接“python setup.py install”即可完成cuda算子的编译和安装。这里的"sum_double_op"就是我们用CUDA写的算子。那这个可以直接调用，并且可以传递梯度的算子，需要怎么做呢？
Pytorch中常见的优化算法介绍
Jennifer_Love_Frank的博客
08-17 782
目录常见的优化算法介绍梯度下降算法（batch gradient descent，BGD）随机梯度下降法（Stochastic gradient descent，SGD）小批量梯度下降（Mini-batch gradient descent,MBGD）动量法AdaGradRMSPropAdam 常见的优化算法介绍 梯度下降算法（batch gradient descent，BGD） 每次迭代都需要把所有样本都送入，这样的好处是每次迭代都顾及了全部的样本，做的是全局最优 梯度下降：全局最优 随机梯度下降法
pytorch学习系列（4）：常用优化算法
weixin_41786536的博客
09-02 4811
常用的深度学习优化算法的数学原理和pytorch实现
笔记pytorch学习笔记
07-20
【PyTorch学习笔记概述】 PyTorch是Facebook开源的一款深度学习框架，它以其灵活性、易用性和强大的计算能力在学术界和工业界都受到了广泛的欢迎。本笔记将基于B站牛二大人的讲解，深入探讨PyTorch的核心概念、基本...
pytorch学习笔记十二：优化器
Dear_learner的博客
03-22 4789
前言 机器学习中的五个步骤：数据 ——> 模型 ——> 损失函数 ——> 优化器 ——> 迭代训练，通过前向传播，得到模型的输出和真实标签之间的差异，也就是损失函数，有了损失函数之后，模型反向传播得到参数的梯度，接下来就是优化器根据这个梯度去更新参数，使得模型的损失不断降低，那么优化器是如何做到的呢？分别从三个方面了解一下，优化器的概念，优化器的属性和方法，常用的优化器。 一、什么是优化器 pytorch的优化器：管理并更新模型中可学习参数的值，使得模型输出更接近真实标签。 在更新参
pytorch学习笔记（十五）————Early Stop，Dropout
01-20
在PyTorch学习中，两种常见的防止过拟合的技术是Early Stopping和Dropout。这两者都是在训练深度学习模型时提升模型泛化能力的重要手段。 **Early Stopping** 是一种简单而有效的策略，用于避免过拟合。其基本思想...
pytorch学习笔记（十五）————动量与学习率衰减
01-06
pytorch学习笔记（十五）————动量与学习率衰减目录动量学习率衰减 目录 动量 从形式上看， 动量算法引入了变量 z充当速度角色——它代表参数在参数空间移动的方向和速率。速度被设为负梯度的指数衰减平均。名称...
TSP_DRL_PtrNet:PyTorch1.6，“带有强化学习的神经组合优化”，指针网络，深度RL（演员-批评），旅行商问题
05-07
具有Deep RL的TSP解算器 这是具有增强学习功能的神经组合优化的PyTorch实施，Bello等人。 2016 [ ] 指针网络是Vinyals等人提出的模型架构。 2015 [ ] 该模型使用注意力机制来输出输入索引的排列。 在这项工作中，我们将解决旅行商问题（TSP），这是被称为NP-hard的组合优化问题之一。 TSP寻求推销员最短的行程，使他们只能一次访问每个城市。 在没有监督解决方案的情况下进行培训 在训练阶段，此TSP求解器将优化2种不同类型的指针网络，Actor和Critic模型。 给定一个以城市为节点的城市图，评论家模型可以预测预期的旅行时长，通常称为状态值。 当估计行程长度赶上由演员模型预测的行程（城市排列）计算出的实际长度时，评论者模型的参数将得到优化。 Actor模型使用称为好处的值更新其策略参数，该值从实际巡回行程中减去状态值。 影评人 Actor
【pytorch】如何在pytorch自定义优化函数？
快睡吧风的博客
08-17 8224
pytorch 可以说是最简单易学的深度学习库了，为了加快神经网络的学习效率我们通常会使用一些加速技巧，但很多人都是使用的torch.optim自带的优化器，本文就将介绍如何自定义一个优化器并比较其与主流算法的加速效果 1.准备工作 首先下载minst数据库作为测试数据集合minst 我们需要train-images.idx3-ubyte和train-labels.idx1-ub...
梯度下降 - BGD SGD MBGD PyTorch
Momentum
08-12 631
三种梯度下降的解释与简单实现，同时对比PyTorch中的张量形式实现的梯度下降。
Pytorch优化器全总结（一）SGD、ASGD、Rprop、Adagrad
热门推荐
xian0710830114的专栏
09-06 6万+
这是一个系列，以Pytorch为例，介绍所有主流的优化器，如果都搞明白了，对优化器算法的掌握也就差不多了。作为系列的第一篇文章，本文介绍Pytorch中的SGD、ASGD、Rprop、Adagrad，其中主要介绍SGD和Adagrad。因为这四个优化器出现的比较早，都存在一些硬伤，而作为现在主流优化器的基础又跳不过，所以作为开端吧。
【第一周】深度学习和pytorch基础
weixin_72552263的博客
07-12 564
深度学习和pytorch基础
Pytorch框架使用过程中遇到的问题
jhb1021821368的博客
06-13 343
1.pytorch对于 SGD BGD MBGD各种梯度下降的处理方式 现在都采用SGD而且优化后还带有动量参数和L2正则参数； https://blog.csdn.net/qq_27292549/article/details/78767851
python系列教程145——布尔运算
人工智能AI技术
01-20 1783
朋友们，如需转载请标明出处：https://blog.csdn.net/jiangjunshow 声明：在人工智能技术教学期间，不少学生向我提一些python相关的问题，所以为了让同学们掌握更多扩展知识更好地理解AI技术，我让助理负责分享这套python系列教程，希望能帮到大家！由于这套python教程不是由我所写，所以不如我的AI技术教学风趣幽默，学起来比较枯燥；但它的知识点还是讲到位的了，也值得阅读！想要学习AI技术的同学可以点击跳转到我的教学网站。PS：看不懂本篇文章的同学请先看前面的文章，循序渐进每
python基础之布尔运算
yuansheng730的博客
11-13 3201
python基础之布尔运算 布尔运算 and 真真为True 一假为False or 一真为True 假假为False not 对布尔(bool)类型操作数取反 in in not 代码演示 and 真真为True 一假为False a=10 b=20 print(a==10 and b==20) # 结果为True 真真为True True and True result: True print(a!=10 and b==20) # 结果为False 一假为Fal
PyTorch学习：动量优化与学习率衰减策略
"pytorch学习笔记，讲解了动量优化与学习率衰减的概念及实现" 在深度学习中，优化算法的选择对于模型的训练至关重要。动量优化和学习率衰减是两种常用的技术，用于改进梯度下降过程的效率和准确性。 动量优化是一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值