李宏毅深度学习笔记04(Optimization for deep learning)

最新推荐文章于 2023-03-01 09:45:03 发布
最新推荐文章于 2023-03-01 09:45:03 发布
阅读量160 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_56404848/article/details/118822262
版权
本文详细介绍了深度学习中的优化算法，包括SGD、SGD with Momentum、Adagrad、RMSprop、Adam以及SWATS。特别讨论了Adam结合SGDM的优点，以及Warm Up学习率预热策略在模型训练初期的重要性，以提高模型的稳定性和收敛速度。
摘要由CSDN通过智能技术生成

SGD

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210716204304252.png?x-oss-process=image/w在这里插入图片描述

SGDM(SGD with Momentum)

Momentum项相当于速度,因为β稍小于1，表现出一些摩擦力，所以球不会无限加速下去,解决了局部最小点的问题,可以使球向最低点继续运动.
在这里插入图片描述

Adagrad

Adagrad给SGD加上一个分母,将每一个参数的每一次迭代的梯度取平方累加后在开方，用全局学习率除以这个数，作为学习率的动态更新。
对待不同的问题,用不同的数据进行分析.对于训练深度神经网络模型而言，从训练开始时积累梯度平方会导致有效学习率过早和过量的减小,所以该方法认为不是特别好,但目前看效果还行.
在这里插入图片描述

RMSprop（Root Mean Sqaure prop）

与使用动量的梯度下降一样，RMSprop的目的也是为了消除垂直方向的抖动，

最低0.47元/天 解锁文章
稀里糊涂的小楠～
关注
李宏毅2020机器学习课程笔记（一）- 分类与回归
⚡
04-25 1万+
包含李宏毅机器学习视频P1-P16的课程梗概
李宏毅老师《机器学习》课程笔记-1深度学习简介
宁萌Julie的博客
05-02 1816
本文是我学习李宏毅老师《机器学习》课程 2021/2022 -lecture1 的笔记，欢迎交流和多多指教！
李宏毅机器学习笔记3-Optimization for Deep Learning
singxsy的博客
10-22 469
Background Knowledge μ−strong convexity\mu-strong \ convexityμ−strong convexity Lipschitz continuity Lipschitz \ continuityLipschitz continuity Bergman proximal inequality Bergman\ proximal\ inequalityBergman proximal&nb
李宏毅机器学习（深度学习）--optimization
qq_43468557的博客
08-15 459
李宏毅机器学习
B站：李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning
共同进步
04-25 527
总览学习目录篇 链接地址：https://blog.csdn.net/xczjy200888/article/details/124057616 B站：李宏毅2020机器学习笔记 4 —— 深度学习优化 Optimization for Deep Learning
【深度学习】02-07-深度学习的优化（选修）-李宏毅老师21&22深度学习课程笔记
星辰不问
06-19 450
【深度学习】02-07-深度学习的优化（选修）-李宏毅老师21&22深度学习课程笔记
深度学习入门 | 李宏毅作业 HW4（NLP）
qq_40933711的博客
04-16 5484
文章目录一、构造Data集自定义Dataset类构造Dataloader报错：broken pipe二、构建模型2.1 Base模型留下作业：进阶难度，自己架构Transformer。2.2 验证模型2.2.1 model_fn：输入一组bacth数据进入模型，输出损失和准确率2.2.2 Validate：计算验证集上的损失2.3 更新模型，存储模型最优参数三、预测数据3.1 定义预测集Data3.2 加载最优模型，预测label 任务描述：Speaker Identification 这是一个语音识别任务
【李宏毅机器学习笔记（二）】如何提升model
最新发布
weixin_51263595的博客
03-01 212
深度学习入门笔记，站在前人的肩膀上。
​李宏毅机器学习——强化学习Reinforcement Learning
iwill323的博客
10-31 2981
​李宏毅机器学习-- ​强化学习
2020李宏毅学习笔记——5.Optimization for Deep Learning
weixin_44554337的博客
06-05 834
一：概述 当你想训练好一个神经网络时，你需要做好三件事情：一个合适的网络结构，一个合适的训练算法，一个合适的训练技巧： 合适的网络结构：包括网络结构和激活函数，你可以选择更深的卷积网络，然后引入残差连接。可以选择relu做为激活函数，也可以选择tanh，swish等。 合适的训练算法：通常采用SGD，也可以引入动量和自适应学习速率，也许可以取得更好的效果。 　合适的训练技巧：合理的初始化，对于较深的网络引入残差连接，归一化等操作。 二：SGD 三：SGD with Momentum 动量梯度下降法的一个本质
李宏毅2020机器学习深度学习(4) Word Embedding
梆子井欢喜坨的博客
11-03 356
目录
【台大李宏毅|ML】Optimization for Deep Learning
kodoshinichi的博客
04-12 272
深度学习优化器的概述
李宏毅2020作业4---RNN
⛄
01-29 565
更新进度：■■□□□□□□□□□□□□□□□□□□|10%
李宏毅深度学习和人类语言处理作业dhlp2020 hw1-hw5作业下载、环境配置及训练笔记
热门推荐
qq_34351067的博客
10-14 1万+
李宏毅深度学习人类语言处理dhlp2020 hw1-hw5作业下载、环境配置及训练笔记 ** 由国立台湾大学李宏毅老师主讲的纯中文版，2020年深度学习与人类语言处理课程开课了，该课程主要讲解深度学习技术在人类语言处理，比如语音识别、自然语言处理相关的知识课程非常新且难度很高，内容都是最新的深度学习技术。** 由于作业提供的源码有些并不不完整，数据集下载需要能科学上网，还要有google drive账号。环境配置也是个问题，每个作业的环境配置都不大一样。 首先是下载从官网作业的ppt提供的链接下载数据集
李宏毅机器学习笔记8：Optimization
chairon的博客
12-15 605
New Optimizers for Deep Learning 梯度下降： SGD SGD with momentum Adaptive learning rate： Adagrad RMSProp Adam Some Notations ????t ∇????(????????) ???? ????+1 在step t时的参数 下降的梯度 前面t步积累的动量，用来计算????????+1 Optimization’s aim 找到一个参数 ???? 使属性x的损失函数总和最小，
李宏毅2020机器学习深度学习(4) RNN循环神经网络 笔记+作业
梆子井欢喜坨的博客
11-14 2559
目录1. 背景知识1.1 RNN(循环神经网络)结构介绍2. 作业描述3. 数据预处理 1. 背景知识 1.1 RNN(循环神经网络)结构介绍 2. 作业描述 3. 数据预处理
台大李宏毅机器学习作业4(HW4)——可解释机器学习
Horizon2333的博客
03-15 3617
最近刚开始学习机器学习，看的是台湾大学李宏毅老师的视频课程Machine Learning 2019，李宏毅老师课程共有8个作业，在网上大约可以搜到前三个作业的解答，分别是PM2.5预测，人薪酬的二分类和表情分类，我在做这三次作业中主要参考了秋沐霖的三篇博客，链接如下： 作业1：线性回归预测PM2.5----台大李宏毅机器学习作业1(HW1) 作业2：Logistic回归预测收入----台大李宏毅...
李宏毅的机器学习作业4
qq_45878378的博客
08-24 1044
李宏毅的机器学习作业4作业任务数据处理one-hotword-embedding 作业所需数据 akti 作业参考答案 作业任务 本次作业是一个文本情感分析，训练文件中的句子被标记为“1”或“0”，分别对应句子的情感色彩是“负面”与“正面”。 我们的任务就是训练出一个模型，从而能对"testing_data.txt"中的句子判断是0还是1。 数据处理 与图像不同，文本在深度学习中的输入方法不是唯一的,因为文本语言是非结构化的，而要将其输入到神经网络中，我们就需要赋予其一定的结构，其中最朴素的思想便是将每一
【李宏毅2021机器学习深度学习——作业4 Self-Attention】Speaker classification 记录（双过strong baseline）（待改进）
py今天刷题了吗
02-07 2725
文章目录实验记录（双过strong baseline）代码理解样例代码ConformerBlock参数设置（照抄）实验bug修改安装comformer库遇到No module named问题（jupyter lab使用的环境是python3.7，下载的是envs/python38）改进空间（待改进）参考资料 实验记录（双过strong baseline） 增大d_model = 512 只修改batch_size=128和head=1,接近medium 代码理解 样例代码 主要理解dim_feedfor
李宏毅深度学习教程：一天掌握深度学习基础
"李宏毅教授的‘深度学习 1天搞懂深度学习’教程，是一份详尽而通俗易懂的深度学习介绍，共有300页PPT，覆盖了深度学习的基础技术、趋势以及神经网络的变体。这份教程在知乎上获得了极高的评价，适合对深度学习感...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值