深度学习（三）Optimization——笔记

最新推荐文章于 2023-04-23 14:20:07 发布
最新推荐文章于 2023-04-23 14:20:07 发布
阅读量583 收藏
点赞数
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45649258/article/details/123956163
版权
本文深入探讨了深度学习中的优化算法，从基础的梯度下降到更高级的SGD、SGD with Momentum、Adagrad、RMSProp以及Adam。这些方法在训练模型时如何减小Loss，提升模型性能。通过对每个算法的工作原理和特点的解释，帮助读者理解如何选择合适的优化策略。
摘要由CSDN通过智能技术生成

目录

Optimization

使用优化方法，为了训练集的模型参数使Loss最小，深度学习的优化方法有：SGD,Adam,Adagrad

1.计算得到的gradient

在这里插入图片描述

2.在一个time step里用全部的样本数据来计算

在这里插入图片描述

3.SGD

每次只取一个example
下一次移动的方向是上一次的参数计算得到的梯度的反方向
在这里插入图片描述

3.1 SGD with Momentum

此方法除了考虑这一次计算得到的梯度之外，还要考虑之前所有的参数得到的梯度
在这里插入图片描述
在这里插入图片描述

4.Adagrad

Adagrad比gradient descent多了一个前面所有的梯度的均方根
在这里插入图片描述

5. RMSProp

RMSProp的数值不会一直向上增大
在这里插入图片描述

6. Adam

在这里插入图片描述

鹿衔草啊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Coursera deeplearning.ai 深度学习笔记2-2-Optimization algorithms-优化算法与代码实现
tuzhen301的博客
12-14 1393
Coursera deeplearning.ai 深度学习笔记2-2-Optimization algorithms-优化算法与代码实现
深度学习系列（二）优化器 （Optimization）
yiyexy的博客
03-21 448
机器学习系列（二）优化器 （Optimization）梯度下降随机梯度下降批量梯度下降法 梯度下降 在上一节中，我们已经提到了，我们最终估计一个模型他的拟合程度是通过成本函数计算结果来判断的。 因此我们很容易知道，当成本函数达到最小值时，我们的模型就达到了最优。因此，我们更新参数的目标应该是朝着减少成本函数值的方向前进。 这里我们可以用到一个数学上的概念去求成本函数的最小值。通过梯度来求解。当我们根据成本函数L求得了对参数W的偏导时，便可以根据公式：W := W- α\alphaαdW 对参数W进行更新。
【深度学习】优化方法-optimization
Watson的博客
05-24 600
深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam) 深度学习最全优化方法总结比较（SGD，Adagrad，Adadelta，Adam，Adamax，Nadam）
20211104 深度学习：Optimization
weixin_42949850的博客
11-09 690
5个优化器 (1)SGD (2)SGDM 参数改变的方向（调整loss的方向）不仅基于梯度下降方向，还基于上一次的方向 可以避免dradient算为0 ，就没办法往下继续 （3）Adagrad 在梯度较大时减小学习率，在梯度较小时，增大学习率 （4）RMSProp Adagrad中的分母一直在累加，后面学习率会变太小，因此： （5）Adam RMSProp没有考虑为0的位置 Adam即考虑不会到一个梯度为0的地方，又考虑到学习率不会越来越小（太小） ...
深度学习中optimization的方法
gailj
01-14 1065
结合网上的资料与李宏毅老师的课堂教学，总结一下optimization的方法。如果以对训练结果不满意，可以尝试用下述的方法，可以优先考虑方法1-4、方法6 方法1：正则化(Regularization) 正则化是防止神经网络overfitting的一种方法，由于模型的参数太多，所以就容易过拟合（可以想象一下决策树需要剪枝），其原理是在损失函数中增加一个惩罚项来限制过大的权重。通常有3种方法：L1正则化，L2正则化，dropout L1正则化，江湖中也人称Lasso，表示各个参数绝对值之和：它之所以可以防止
MEC边缘计算源码——使用强化深度学习
03-19
2. **深度学习模型**：可能是一个Q-learning、Deep Q-Network (DQN)、Proximal Policy Optimization (PPO) 或其他DRL算法的实现，用于学习资源分配策略。 3. **状态表示**：定义了环境的状态空间，可能包括网络负载...
吴恩达深度学习2021 C1作业
最新发布
09-15
损失函数（Loss Functions）和优化算法（Optimization Algorithms）是深度学习中不可或缺的部分。常见的损失函数有均方误差（Mean Squared Error, MSE）和交叉熵损失（Cross-Entropy Loss），而优化器如梯度下降...
python+深度学习算法的跳棋应用
04-29
在本文中，我们将深入探讨如何使用Python和深度学习算法实现智能跳棋应用。跳棋是一种策略游戏，通过深度学习，我们可以让计算机模拟人类玩家的决策过程，并不断优化其策略，以达到每次游戏都能以最优路线获胜的目标...
强化学习 深度学习 神经网络 论文
03-23
强化学习 深度学习 神经网络 论文 本文探讨了多目标分布式优化问题，并提出了基于神经网络的协作神经动力学方法。该方法可以寻找 Pareto 最佳解决方案，并且可以在分布式优化中实时地生成多个 Pareto 最佳解决方案...
Deeplearning深度学习笔记.rar
07-12
《吴恩达深度学习笔记》是一份非常宝贵的资源，它涵盖了深度学习领域的核心概念和实践技术。这份笔记是由著名的人工智能专家吴恩达（Andrew Ng）编写的，旨在帮助学习者深入理解并掌握深度学习的基本原理和应用。在...
optimization:C＃中的（非线性）优化算法
05-22
（非线性）优化库 该库旨在实现不同的数学优化算法，例如规则和共轭梯度下降。 数学由提供支持。 梯度下降算法 弹性误差梯度下降 共轭梯度下降算法 Hager-Zhang（“ CG_DESCENT”） Polak-Ribière（支持预处理） 弗莱彻-里夫斯 线搜索算法 割线 具有二次步进的Hager-Zhang 成本函数 残差平方和
深度学习入门笔记（8）——什么是optim？
ZRX_GIS
05-20 2908
深度学习入门笔记（8）——optim 其实，我们在看过深度学习相关文章后，都会明白所说的训练其实就是在让预测结果和标签贴合，而评价贴合过程必采用损失函数，我们通过修改层级权重使得损失最小，而我们这部分要说的optim就是一种参数优化策略。 这里我们讲两种传统的优化方式，主要介绍一下一阶optim： （1）一阶optim 这种方法使用各个参数的梯度值来更新参数 ，最常用的一阶优化算法是梯度下降所谓的梯度就是导数的多变量表达式，函数的梯度形成了各个向量场 ，同时也是一个方向，这个方向上方向导数最大，且等于梯度。
深度学习中优化器 (optimizer) 的选择：SGD, AdaGrad, AdaDelta
disanda的专栏
10-06 2486
optim的一些理论基础 1.训练过程 神经网络的训练过程如下： 做一个神经网络用于拟合目标函数 做一个真实值和目标函数值直接估计误差的损失函数， 用损失函数值前向输入值求导， 再根据导数的反方向去更新网络参数(x),目的是让损失函数值最终为0. 2.专有名词 SGD 在第四步中，参数的更新就是pytorch中的optim(优化过程)，现在都是随机梯度下降，即每次更新是通过随机抽样来更新参数(总数的一小部分，简称为一个batch)。 公式: (1) 为此，需要设置一个学习率，保证每个batc
Torch7学习（六）——学习神经网络包的用法（4）——利用optim进行训练
Hungryof的专栏
07-26 6251
总说这篇博客是本系列的最后一篇，着重讲如何利用optim包进行自动挡训练。-- standard training code -- Here let's train XOR net.require 'torch' require 'cunn' require 'cutorch' require 'nn' require 'optim'-- dataset generate local minibat
Gradient Optimization
anmin1992的专栏
03-24 101
Gradient Optimization Gradient Descent Batch Gradient Descent Mini-Batch Gradient Descent Stochastic Gradient Descent Mini-Batch Gradient Descent 参数 Mini-Batch Size: 一个Batch样本所含的样本数 参数效果 通过...
optimizer.step()代表什么意思
百年孤独百年的博客
04-23 7764
`optimizer.step()`是PyTorch中优化器对象的一个方法，用于更新模型的参数。在训练深度神经网络的过程中，我们需要通过反向传播算法计算每一个参数对损失函数的梯度，然后使用优化器更新参数，使得损失函数最小化。而`optimizer.step()`方法就是用于执行参数更新的。
深度学习中的优化问题(Optimization)
qq_39770163的博客
04-14 5849
1. 深度学习、机器学习、神经网络、CNN。 2. 模型构建中的优化问题。 3. 基于花书、邱锡鹏书、李沐书、其他资料等。
深度学习中的优化问题
Man
04-28 8751
一、优化问题的挑战 绝大多数深度学习中的目标函数都很复杂。因此，很多优化问题并不存在显示解（解析解），而需要使用基于数值方法的优化算法找到近似解。这类优化算法一般通过不断迭代更新解的数值来找到近似解。 优化问题中的两个挑战：局部最小值和鞍点。这两种情况都会造成梯度接近或变成零，从而使得网络很难继续优化。 低维空间的非凸优化问题：主要是存在一些局部最优点。采用梯度下降方法时，不合适的参数初始化...
深度学习中的优化器（optimizer）
xiaxuesong666的博客
01-25 3747
今天学习tensorflow的过程中看到了tf.train.GradientDescentOptimizer 、tf.train.AdamOptimizer Adam、tf.train.MomentumOptimizer 这些，发现自己对优化器的认识还仅仅停留在随机梯度下降的水平，遂找了几个博客，看了一下，现总结如下： 1.如何选择优化器 optimizer，这篇文章介绍了9种优化器，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值