深度学习 Day 3 梯度下降的优化

最新推荐文章于 2024-08-09 00:05:38 发布
最新推荐文章于 2024-08-09 00:05:38 发布
阅读量272 收藏
点赞数
分类专栏： 深度学习 文章标签： python 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44589329/article/details/121550552
版权

1. SGD

2.  SGDM
3. Adagrad
4. RMSProp
5.  Adam
6. SWATS
7. AMSGrad
8. AdaBound
9. Cyclical LR
10. SGDR
11. One-cycle LR
12.  RAdam
13. Lookahead
14.  NAG
15.  Nadam
16.  AdamW & SGDW with momentum
17. 其他
17.1  Shuffling
17.2  Dropout
17.3  Gradient noise
17.4  Warm-up
17.5  Curriculum learning
17.6  Fine-tuning
17.7 Normalization
17.8  Regularization
18. 总结

 

 

 

闻.铃
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度day1资料.zip
11-24
在"03-资料"文件夹中，可能包含了深度学习的基础理论讲义，如神经网络的基本结构（输入层、隐藏层、输出层）、反向传播算法、梯度下降法以及激活函数（sigmoid、ReLU等）的介绍。这些知识点是构建和训练深度学习模型...
深度day2资料.zip
11-24
讲义可能包含了深度学习的基本概念，如反向传播、梯度下降、激活函数、损失函数、优化器等。此外，还可能涉及更高级的主题，如卷积操作、池化层、批归一化、注意力机制、生成对抗网络（GAN）等。 4. "04-画图"：这...
深度学习day03 梯度下降算法
qq_52667714的博客
11-19 262
梯度下降算法
Pytorch 深度学习 Day03 --梯度下降
LimitOut的博客
04-08 258
1.局部极小值  对于目标函数 f(x) ，如果 f(x) 在 x 上的值比在 x 邻近的其他点的值更小，那么 f(x) 可能是一个局部最小值（local minimum）。如果 f(x) 在 x 上的值是目标函数在整个定义域上的最小值，那么 f(x) 是全局最小值（global minimum）。   深度学习模型的目标函数可能有若干局部最优值。当一个优化问题的数值解在局部最优解附近时，由于目标...
深度学习 Day 20——优化器对比实验
北天的博客
11-25 1384
365天深度学习训练营 [第十周]——了解并学习不同优化器之间的区别以及具体代码实现对比。
跟着沐神学深度学习DAY3
Fuxiao___的博客
07-27 926
w = torch.normal(0, 0.01, size=(2,1), requires_grad=True) #两行的列向量b = torch.zeros(1, requires_grad=True) # 标量"""线性回归模型"""return torch.matmul(X, w) + b #广播机制划重点： 需要w,b 进行更新，所以才将requires_grad设置为True广播机制： 当我们用一个向量加一个标量时，标量会被加到向量的每个分量上。
day03-误差与梯度下降
啧啧怪的博客
09-17 244
目录心得体会模型步骤一、模型假设 - 线性模型二、模型评估 - 损失函数三、最佳模型 - 梯度下降四、模型优化回归演示问题补充与解决 心得体会 李宏毅老师的讲课幽默风趣，举了宝可梦的例子帮助理解，带入其中来解决实际问题。学到了很多之前没注意到的知识点，例如在做正则化操作时，不需要考虑bias的影响（bias的调整只是将目标函数的图像上下移动，不影响平滑度）。学习了回归问题的模型，首先进行模型假设，然后模型评估，选出优秀模型，最后进行模型优化。解决了如何避免陷入鞍点梯度下降如何跳过局部最优等问题。 在这
深度学习 Day14——P3天气识别
LittleRuby的博客
12-11 1175
关键字： torchvision.transforms.Compose()详解,pathlib中glob匹配多个格式文件获取数据列表,plt.tight_layout()作用,x.view()函数，The freeze_support error解决方案，提升测试acc--改变优化器。
Datawhale-李宏毅深度学习Day3
Spiceboyyy的博客
08-21 275
机器学习误差分解及梯度下降
深度学习 Day11——T11优化器对比实验
LittleRuby的博客
12-07 1078
关键字：加载预训练的 VGG16 模型，优化器
动手学深度学习笔记day3
m0_56770663的博客
07-14 1153
线性回归
AI人工智能资料 机器学习和深度学习知识 day04-Tensorflow基础与进阶 共74页.pptx
05-03
例如，实现线性回归模型，包括权重和偏置的初始化、损失函数的定义、梯度下降优化器的设定，最后通过训练循环更新模型参数。 【Tensorflow进阶】 进阶使用涉及更多高级功能，如： 1. **IO操作**：学习如何读取和...
深度学习pytorch2.0教材学习笔记，以及自己的一点扩充
05-19
此外，还可能涉及到损失函数和优化器的选择，例如均方误差（MSE）和梯度下降法。 接着，day03_04.ipynb可能会涉及卷积神经网络（CNN）的原理和应用，这是处理图像数据的常用模型。作者可能讲解了卷积层、池化层和...
AI人工智能资料 机器学习和深度学习知识 day06-Tensorflow、人工神经网络、卷积神经网络、图片识别 共65页.pptx
05-03
神经网络的学习通常基于反向传播算法，通过梯度下降优化权重，以最小化损失函数。 【Mnist 数据集】 Mnist是一个广泛使用的手写数字识别数据集，包含60000个训练样本和10000个测试样本。每个样本是28x28像素的灰度...
大模型微调工具-torchtune
weixin_40777649的博客
08-08 627
1.定义2.安装3. 案例。
python的匿名函数
weixin_74923758的博客
08-05 260
python中的匿名函数是一种简洁的函数定义方式，它使用lambda关键字来创建。匿名函数通常用于需要一个函数对象，但又不想去定义一个完整的函数时。它们可以接收任意数量的参数，但只能有一个表达式。匿名函数经常与函数的参数一起使用，例如map（），filter（）和sorted()等函数，这些函数可以接受一个函数作为参数来指定如何操作数据。map()函数可以将一个给定的函数应用于一个可迭代对象的每个元素。是函数体，它是一个表达式，其结果将作为函数的返回值。
NVIDIA-CUDA
qq_41081716的博客
08-08 388
CUDA 是一种强大的并行计算平台，它极大地扩展了 GPU 的用途，使其不仅仅局限于图形处理。通过利用 CUDA，开发人员可以编写高效、高性能的并行应用程序，这些应用程序可以用于各种计算密集型任务。如果您正在从事高性能计算或需要加速计算任务的工作，CUDA 是一个非常有用的工具。
Falsk测试与部署（第九阶段）
最新发布
蜡笔小新星的博客
08-09 523
在本章节中，我们学习了如何使用unittest和pytest进行单元和集成测试，以及如何配置Flask应用，使用WSGI服务器部署，容器化Flask应用并将其部署到各种云服务平台。通过这些步骤，你可以确保你的Flask应用在生产环境中的稳定性和可靠性。希望这些知识能够帮助你在实际项目中更好地实现测试和部署。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值