吴恩达深度学习课程第二课2.7-2.10学习笔记

最新推荐文章于 2024-09-14 19:18:15 发布
最新推荐文章于 2024-09-14 19:18:15 发布
阅读量207 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41883520/article/details/119673230
版权
本文探讨了RMSprop和Adam优化算法的结合，强调它们如何在深度学习中调整学习率，特别是在模型接近收敛时采用衰减策略以避免陷入局部最优。同时，解释了鞍点这一概念，它是导致优化过程停滞的导数为0的点。
摘要由CSDN通过智能技术生成

8月13日学习笔记

RMSprop

在这里插入图片描述
db较大dw较小

Adam优化算法

在这里插入图片描述
算法内容
结合动量和RMSprop

学习率衰减

在这里插入图片描述

当开始收敛时，小的学习率能让步伐小一点
在这里插入图片描述
衰减公式 decay-rate是衰减率，epoch是代数

局部最优

在这里插入图片描述
鞍点：导数为0的点

juiceYi
关注
吴恩达深度学习deeplearning.ai学习笔记（二）2.6 2.7 2.8 2.9 2.10
weixin_66188523的博客
08-09 1068
这种算法运行速度总是快于标准的梯度下降算法，基本思想是计算梯度的指数加权平均数并利用该梯度来更新你的权重；假设你要优化一个下图的成本函数，红点是最小值，假设从一点开始进行梯度下降法，如果进行梯度下降法的第一次迭代，无论是batch还是mini-batch，可能都会指向椭圆的另一边：然后在椭圆的另一边执行第二次梯度下降，可能又回到原来这边：然后如此反复走下去，慢慢摆动到最小点，这需要许多计算步骤，或者说需要很多次梯度下降，因为这种上下摆动减慢了梯度下降法的速度；
吴恩达深度学习deeplearning.ai学习笔记（一）2.7 2.9 2.10
weixin_66188523的博客
08-01 348
其实在2.9节也早就求过了，当时是单样本下写成这样的：现在只不过要带上标了，以第个样本为例，扩展到。
吴恩达（Andrew Ng）深度学习课程笔记目录
m0_52118763的博客
12-26 1126
吴恩达深度学习笔记目录
吴恩达深度学习课程笔记Lesson09
智潮先锋聚集地
07-23 853
深度学习中最令人振奋的最新动态之一就是端到端深度学习的兴起，那么端到端学习到底是什么呢？简而言之，以前有一些数据处理系统或者学习系统，它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段，用单个神经网络代替它。我们来看一些例子，以语音识别为例，你的目标是输入xxx，比如说一段音频，然后把它映射到一个输出yyy，就是这段音频的听写文本。所以传统上，语音识别需要很多阶段的处理。首先你会提取一些特征，一些手工设计的音频特征，也许你听过MFCC。
深度学习吴恩达笔记---神经网络和深度学习
weixin_53817810的博客
12-27 444
【神经网络与深度学习】笔记 ——邱锡鹏著【神经网络与深度学习】笔记 ——邱锡鹏著
深度学习入门首推资料--吴恩达深度学习全程笔记分享
qq_41590635的博客
04-10 4699
本文首发于微信公众号“StrongerTang”，可打开微信搜一搜，或扫描文末二维码，关注查看更多文章。 原文链接：(https://mp.weixin.qq.com/s?__biz=Mzg3NDEzOTAzMw==&mid=2247483739&idx=1&sn=90a0ef1ff6c90514f397e9b6f3c74b83&chksm=ced41dadf9a3...
吴恩达深度学习课程笔记Lesson06
智潮先锋聚集地
07-19 845
本周将学习优化算法，这能让你的神经网络运行得更快。机器学习的应用是一个高度依赖经验的过程，伴随着大量迭代的过程，你需要训练诸多模型，才能找到合适的那一个，所以，优化算法能够帮助你快速训练模型。其中一个难点在于，深度学习没有在大数据领域发挥最大的效果，我们可以利用一个巨大的数据集来训练神经网络，而在巨大的数据集基础上进行训练速度很慢。因此，你会发现，使用快速的优化算法，使用好用的优化算法能够大大提高你和团队的效率，那么，我们首先来谈谈mini-batch梯度下降法。你之前学过，向量化能够让你有效地对所有mmm
吴恩达深度学习课程笔记Lesson11
智潮先锋聚集地
07-29 325
构建卷积层时，你要决定过滤器的大小究竟是1×1（原来是1×3，猜测为口误），3×3还是5×5，或者要不要添加池化层。而Inception网络的作用就是代替你来决定，虽然网络架构因此变得更加复杂，但网络表现却非常好，我们来了解一下其中的原理。例如，这是你28×28×192维度的输入层，Inception网络或Inception层的作用就是代替人工来确定卷积层中的过滤器类型，或者确定是否需要创建卷积层或池化层，我们演示一下。
吴恩达深度学习课程第五课笔记——序列模型
solejay
04-27 1959
文章目录第五门课 序列模型 (Sequence Models)第一周 循环序列模型（Recurrent Neural Networks）1.1 为什么选择序列模型？（Why Sequence Models?）1.2 数学符号（Notation）1.3 循环神经网络模型（Recurrent Neural Network Model）1.4 通过时间的反向传播（Backpropagation thro...
最全面的 深度学习 笔记【吴恩达 深度学习】
05-09
最全面的 深度学习 笔记【吴恩达 深度学习】 - 1_神经网络与深度学习 - 第一周-深度学习概论-1.1-欢迎 - 第一周-深度学习概论-1.2-什么是神剧网络 - 第一周-深度学习概论-1.3-用神经网络进行监督学习 - 第一周-...
吴恩达深度学习教程——中文笔记网上资料整理
Superstar02的博客
09-27 1087
深度学习笔记目录 课程地址：https://mooc.study.163.com/university/deeplearning_ai#/c 专栏： https://blog.csdn.net/shikong_/article/category/7288516 https://blog.csdn.net/zc...
吴恩达《深度学习工程师》课程笔记--章节目录
fxlou的博客
03-05 1566
第 1 门课程：神经网络和深度学习（Neural Networks and Deep Learning） 第一周 深度学习概论（Introduction to deep learning） 学习驱动神经网络兴起的主要技术趋势，了解现今深度学习在哪里应用、如何应用。 1.1 欢迎来到深度学习工程师微专业（Welcome） 1.2 什么是神经网络？（What is a neural net...
吴恩达深度学习第一课第二周
xavierri的博客
03-05 1264
第二周 神经网络基础 打卡（1） 2.1 二分类 在二分分类问题中 目标是训练处一个分类器，它以图片（本例中）的特征向量X作为输入，来预测输出的结果标签y是1还是0，也就是预测图片中是否有猫。 课程中会用到的数学符号： (x,y)(x,y)(x,y)：表示一个单独的样本； x∈Rnxx∈Rnxx\in R^{n_x}:表示x是nxnxn_x维的特征向量； y∈y∈y\in ...
每天五分钟玩转深度学习PyTorch：获取神经网络模型的子网络模型
huanfeng_AI的博客
09-09 409
本文主要为第二步（模型搭建）和第六步（优化器）服务，因为子网络是网络模型的一部分，我们如何获取自网络，需要了解网络的模型结构，然后再优化器部分我们需要获取指定网络模型部分的模型参数，所以本节课程很重要。
机器学习与深度学习的区别
最新发布
警警的博客
09-14 1376
机器学习与深度学习
如何理解深度学习的训练过程
qq_61033357的博客
09-11 428
这是模型在训练过程中通过数据自动学习的参数，主要是卷积层的权重和偏置。比如卷积核内部的权重（Conv2d中的weights和bias）会随着训练数据的输入和误差的反馈不断更新。以yolov5为例子，训练的目的是把一组输入猫狗图像放到神经网络中，得到一个输出模型，这个模型下次可以直接用来识别哪个是猫，哪个是狗。这些参数是在反向传播过程中由优化器（如Adam、SGD等）自动调整的，目的是使模型更好地拟合训练数据。步长（stride）：决定卷积操作在输入特征图上的移动幅度，影响输出的特征图大小。
基础GAN生成式对抗网络（pytorch实验）
weixin_47696370的博客
09-10 447
采用MNIST数据集，如下是训练集中的一张图片。
深度学习速通系列:LoRA微调是什么
Ven%的博客
09-10 548
LoRA微调（Low-Rank Adaptation）是一种用于大型预训练语言模型（LLM）的高效微调技术。它的核心思想是在不改变预训练模型权重的前提下，通过在模型的Transformer层中引入可训练的低秩矩阵来实现模型的微调。这种方法可以显著减少训练参数的数量，从而降低对计算资源的需求。
吴恩达深度学习课程笔记V5.41：深度学习入门与实战
"这是一份由黄海广博士编写的深度学习笔记，主要基于吴恩达教授的深度学习课程(deeplearning.ai)，适合有一定编程基础，熟悉Python，并对机器学习有一定了解的学员。笔记涵盖了深度学习的基础知识，包括神经网络的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值