一文读懂深度学习算法中的优化算法发展史

已于 2022-08-20 20:00:18 修改
阅读量1.9k 收藏 1
点赞数 1
分类专栏： pytorch 深度学习 文章标签： 算法 深度学习 机器学习
于 2020-03-23 19:45:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38410551/article/details/105055799
版权
本文详细介绍了深度学习优化算法的发展历程，从基础的梯度下降法，包括GD和SGD，到引入动量的概念，如动量梯度法和Nesterov Momentum，最后讲解了Adam算法，它综合了动量法的优点并考虑了学习率的自适应调整，以求在训练过程中找到更好的解。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

深度学习优化算法发展史

优化算法的目的

重要概念

梯度：损失函数对于权重函数的导数
梯度下降：根据梯度来更新权重，使损失变小的方法

所有优化算法的目的

据梯度更新权重，找到使得损失变得最小的方法。

优化算法的挑战

（1）局部最小值
（2）鞍点

各种优化算法

所有梯度算法都是基于梯度下降法进行演进的。
主要分为三大阶段，第一阶段是梯度下降法，这个阶段的优化算法可以找到局部最优解，但是无法找到全局最优解，很容易陷入鞍点。
第二阶段为动量梯度法，这个阶段的优化算法考虑了权重的优化方向，借鉴了动量的原理，可以在某种程度上跳出局部最优解，但是很容易在优化的过程中，超过最优解。
第三阶段为Adam优化算法，这个阶段的算法综合了动量梯度算法的优点，同时考虑了随着迭代的轮次增加，学习率也会针对不同的权重进

了解本专栏 订阅专栏 解锁全文 超级会员免费看
一文读懂深度学习分割网络发展史（重点介绍pspnet）
weixin_38410551的博客
05-12 3480
FCN，Segnet，RefineNet，PSPNet，Deeplab v1&v2&v3 这些分割网络的基础是CNN。 注：分割网络的预测是基于像素点的预测。 分割问题很难使用CNN的原因： 原因1：全连接层结构， 原因2：存在池化层。池化层不仅能增大上层卷积核的感受野，而且能聚合背景同时丢弃部分位置信息。然而，语义分割方法需对类别图谱进行精确调整，因此需保留池化层中所舍弃的位置信...
一文读懂AIGC文生图系列原理及发展近况！
女王の专属领地
11-25 2343
2021年10月，谷歌发布的 Disco Diffusion 模型以其惊人的图像生成效果拉开了属于扩散模型的 AIGC 时代序幕。图像精美但细节不够深人；生成耗时过长（也是一直以来的痛点）。但其图像质量碾压以往众多绘画模型，达到普通人无法企及高度，这才让 AI绘画真正迈入生产工具行列。AIGC作为一种新兴的技术，正在快速改变内容生产和创作的格局。经过多年的发展，AIGC已经在文本、图像、音频和视频等多个领域取得了显著的成就。
智能优化方法——产生与发展
Del的博客
04-22 1675
智能优化方法的产生与发展 最优化的重要意义 当我们研究问题是，往往离不开建立模型，建立模型后就会不断的去优化，以得到更好的过程与结果。建模的目的除了认识学习以外，再者就是为了优化了，而优化也必须建立在建模的基础上。就像车间生产线，当生产线搭建完成后，相当于模型建立完成，日后我们对生产线的研究（哪一段需要改进？哪一段需要淘汰？哪里需要加入进的流程？）就是一个优化的过程，选择最优的方法，才能让生产线提高效率，为社会带来收益。 传统优化方法 产生一个解 传统的优化方法一般从一个初始的可行解开始。对无约束的非线性
深度学习中优化算法的演进历程
Colin_xuan的博客
09-19 927
随机梯度下降（SGD） 缺点： 在训练过程中可能会错误标记数据，或者有数据和正常数据差别很大，使用这些数据进行训练，求得的梯度也会有很大的偏差，因此，SGD在训练过程中会有很大的随机性。 解决方法：选择一批量的数据，一起求梯度和，再求均值。也就是一个batch更新一次权重。如下图所示： 以上的两种方法的缺点是：计算量大，更新速度慢 解决方法：采用SGD+Mo...
# 深度学习中的优化算法详解
最新发布
m0_72829651的博客
04-09 1278
优化算法是深度学习的核心组成部分，用于最小化损失函数以更新神经网络的参数。本文将详细介绍深度学习中常用的优化算法，包括其概念、数学公式、代码示例、实际案例以及图解，帮助读者全面理解优化算法的原理与应用。优化算法是深度学习训练的基石，从简单的梯度下降到自适应的 Adam，每种算法都有其适用场景。Adam 通常比 SGD 收敛更快，损失下降更平稳，但在某些任务中 SGD 配合动量可能获得更好的泛化性能。以下是深度学习中常用的优化算法，逐一分析其原理、公式、优缺点及代码实现。，以逼近损失函数的最优解。
深度学习优化算法演变
守得云开见月明
02-25 1862
原标题：Adam那么棒，为什么还对SGD念念不忘 （一）一个框架看懂优化算法 “ 说到优化算法，入门级必从 SGD 学起，老司机则会告诉你更好的还有AdaGrad / AdaDelta，或者直接无脑用 Adam。可是看看学术界的最新 paper，却发现一众大神还在用着入门级的 SGD，最多加个 Momentum 或者 Nesterov，还经常会黑一下 Adam。这...
深度学习中常用的优化算法
qq_19457459的博客
04-19 739
参考《动手学深度学习》 https://zh.d2l.ai/chapter_optimization/index.html 一维梯度下降 我们先以简单的一维梯度下降为例，解释梯度下降算法可能降低目标函数值的原因。假设连续可导的函数 f:R→R 的输入和输出都是标量。给定绝对值足够小的数 ϵ ，根据泰勒展开公式，我们得到以下的近似： f(x+ϵ)≈f(x)+ϵf′(x). 这里 f′(x) 是函数 ...
深度学习之各种优化算法
xueli1991的博客
05-14 9140
机器之心编译 参与：沈泽江 　　梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 　　目录： 梯度下降的各种变体
【一文读懂】DeepSeek的发展历史
Bl_a_ck的博客
02-05 8262
这篇文章介绍了deepseek公司的发展历史和核心技术
嵌入式工程师成长之路（7）——算法学习
热门推荐
云轩阁
07-21 3万+
算法大全1、风仲达——算法笔记2、坐在马桶上学算法3、啊哈算法4、深度强化学习实验室。
cv算法工程师学习成长路线
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
11-15 4576
本文内容为 cv 算法工程师成长之路上的经典学习教材汇总，对于一些新兴领域则给出了较好的博客文章链接。本文列出的知识点目录是成系统且由浅至深的，可作为 cv 算法工程师的常备学习路线资料。部分学习资料存在离线 PDF 电子版，其可在 github仓库-cv_books 中下载。
激光感知（十）：深度学习算法发展简史
weixin_43877080的博客
08-31 1288
目录前言 前言
深度学习之优化算法
tt丫的博客
01-28 4256
​ 目录 一、优化算法与深度学习 二、深度学习中优化算法的常见算法 三、总结 四、常用优化算法的代码调库实现 一、优化算法与深度学习 1、优化算法对于深度学习的意义 深度学习中的优化问题通常指的是：寻找模型上的一组参数θ，它能显著地降低（最小化）代价函数J(θ)，通常也有采取最大化问题转化为最小化问题再优化的方法。 优化算法直接影响模型的训练效率。 2、优化算法与深度学习的关系 优化算法的目的：降低训练误差；
深度学习中的优化算法
随风秀舞（diyoosjtu）
05-26 207
如何确定mini-batch的大小？ 64， 128， 256， 。。。。。。 数据大小适应CPU / GPU内存的大小 Exponentially weighted averages vt=βvt−1+(1−β)θtv_t = \beta v_{t-1} + (1-\beta) \theta_tvt​=βvt−1​+(1−β)θt​ θt\theta_tθt​是原始数据，vtv_tvt​是构造的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值