吴恩达深度学习课程第二课2.7-2.10学习笔记

最新推荐文章于 2024-06-14 15:00:00 发布
最新推荐文章于 2024-06-14 15:00:00 发布
阅读量144 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41883520/article/details/119673230
版权

8月13日学习笔记

RMSprop

在这里插入图片描述
db较大dw较小

Adam优化算法

在这里插入图片描述
算法内容
结合动量和RMSprop

学习率衰减

在这里插入图片描述

当开始收敛时，小的学习率能让步伐小一点
在这里插入图片描述
衰减公式 decay-rate是衰减率，epoch是代数

局部最优

在这里插入图片描述
鞍点：导数为0的点

juiceYi
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
吴恩达深度学习课程第一课第二周datasets和lr_utils
11-30
吴恩达深度学习系列课程的第一课、第二周编程练习Logistic Regression with a Neural Network mindset中用到的datasets和lr_utils.py文件
吴恩达深度学习：第二课，第二周：优化算法
01-06
batch和全部样本为一个mini-batch举例合理的簇大小指数加权平均理解指数加权平均指数加权平均的偏差修正动量梯度下降法优化成本函数RMSprop算法Adam 优化算法算法公式：该算法的超参数学习率衰减局部最优的问题 ...
吴恩达（Andrew Ng）深度学习课程笔记目录
m0_52118763的博客
12-26 1025
吴恩达深度学习笔记目录
深度学习吴恩达笔记---神经网络和深度学习
weixin_53817810的博客
12-27 199
【神经网络与深度学习】笔记 ——邱锡鹏著【神经网络与深度学习】笔记 ——邱锡鹏著
深度学习入门首推资料--吴恩达深度学习全程笔记分享
qq_41590635的博客
04-10 4574
本文首发于微信公众号“StrongerTang”，可打开微信搜一搜，或扫描文末二维码，关注查看更多文章。 原文链接：(https://mp.weixin.qq.com/s?__biz=Mzg3NDEzOTAzMw==&mid=2247483739&idx=1&sn=90a0ef1ff6c90514f397e9b6f3c74b83&chksm=ced41dadf9a3...
吴恩达深度学习课程第五课笔记——序列模型
solejay
04-27 1908
文章目录第五门课 序列模型 (Sequence Models)第一周 循环序列模型（Recurrent Neural Networks）1.1 为什么选择序列模型？（Why Sequence Models?）1.2 数学符号（Notation）1.3 循环神经网络模型（Recurrent Neural Network Model）1.4 通过时间的反向传播（Backpropagation thro...
吴恩达深度学习课程第三课笔记——结构化机器学习项目
solejay
04-27 624
文章目录第三门课 结构化机器学习项目（Structuring Machine Learning Projects）第一周 机器学习（ML）策略（1）（ML strategy（1））1.1 为什么是 ML 策略？（Why ML Strategy?）1.2 正交化（Orthogonalization）1.3 单一数字评估指标（Single number evaluation metric）1.4 满足...
吴恩达深度学习教程中文笔记目录
热门推荐
女王の专属领地
04-26 1万+
深度学习笔记目录 课程地址：https://mooc.study.163.com/university/deeplearning_ai#/c 专栏： https://blog.csdn.net/shikong_/article/category/7288516 https://blog.csdn.net/zchang81/article/category/7163883 作业练习： h...
【深度学习_吴恩达】吴恩达深度学习课程第一课 & 第二课 — 神经网络与深度学习
py今天刷题了吗
10-01 238
文章目录P1 【第一周深度学习概论】1.1 欢迎P2 1.2 什么是神经网络P3 1.3 用神经网络进行监督学习P4 1.4 为什么深度学习会兴起P5 1.5 关于这门课P7 【第二周 神经网络基础】2.1 二分网络分类P8 2.2 logistic回归P9 2.3 logistic损失回归函数P10 2.4 梯度下降法P11 2.5 导数P12 2.6 更多导数的例子P13 2.7 计算图P14 2.8 计算图的导数计算P15 2.9 logistic回归中的梯度下降法P16 2.10 m个样本的梯度下降
吴恩达老师深度学习笔记第三课第二周
weixin_44168457的博客
03-15 182
结构化机器学习 2.1进行误差分析 ①（定义）错误分析：通过对网络分析，找到问题，使网络达到自己想要的效果 ②举例（猫分类） 你的分类猫的系统错误率达到10%，你发现错误识别中有很多狗，被错认为猫 这时，你可以选择直接通过一些办法来解决狗的问题 但是更好的做法是，先找到狗的错误识别的“表现上限”，先找100张错误识别（注意：是在验证集里），如果里边有5张是狗，那么意味着狗的“表现上限”就是5%。这...
吴恩达老师深度学习笔记第二课（第二周）
weixin_44168457的博客
03-09 422
第二周优化算法 2.1Mini_batch梯度下降算法 ①向量化可以让你相对较快的处理所有m个样本，但是如果m很大，处理速度仍然缓慢 ②传统的梯度下降算法，需要先处理所有数据，然后进行下一步梯度下降算法 把训练集分割成小一点的子训练集，这些子集取名为Mini_batch（然后每处理一个子集，就把他传下去进行下一步梯度下降算法），同样也要拆分y训练集。 ③我的理解：就是不再把所有数据向量化一个大向量...
吴恩达深度学习课程第二课第二周编程作业
02-12
该文件包含吴恩达深度学习课程第二课第二周编程作业的完整库文件和源代码，实现了小批量梯度下降、动量梯度下降、adam算法等等。
吴恩达深度学习课程第二课 第1周 深度学习的实用层面（中、英文版本）
01-19
吴恩达老师 深度学习课程 第二课 改善深层神经网络 第1周 深度学习的实用层面 （有道翻译，有歧义的地方请参考原文）
深度学习长文｜使用 JAX 进行 AI 模型训练
冷冻工厂
06-13 381
实际上，考虑到 PyTorch 背后庞大的开发者社区，以及 PyTorch 所原生支持而 JAX/FLAX 尚未涵盖的众多特性（例如自动混合精度、先进的注意力机制层，至少在本文撰写时），有人可能会强烈主张没有必要投入时间去掌握 JAX。在本文中，我们将使用 Flax，据本文撰写时的观察，它似乎是最受欢迎的选择。值得注意的是，每个机器学习开发框架都可能拥有其独到的特性（例如，截至本文撰写时，JAX 的 SPMD 自动分片和 PyTorch 的 SDPA 注意力机制），这些特性可能在性能比较中起到关键作用。
Python学习从0开始——Kaggle深度学习002
最新发布
哈哈哈哈
06-14 645
与所有机器学习任务一样，我们从一组训练数据开始。训练数据中的每个示例都由一些特征(输入)和预期目标(输出)组成。训练网络意味着调整其权重，使其能够将特征转化为目标。例如，在80种谷物的数据集中，我们想要一个网络，它可以获取每种谷物的“糖”、“纤维”和“蛋白质”含量，并对该谷物的“卡路里”进行预测。如果我们可以成功地训练一个网络来做到这一点，它的权重必须以某种方式表示这些特征和训练数据中表达的目标之间的关系。除了训练数据，我们还需要两个东西：一个衡量网络预测好坏的“损失函数”。
神经网络 torch.nn---nn.RNN()
qq_45452617的博客
06-13 714
的shape应该是[batch_size, time_step, feature],输出也是这样。默认是 False，就是这样形式，(seq(num_step), batch, input_dim)，也就是将序列长度放在第一位，batch 放在第二位。x_t是上一层时刻t的隐状态，或者是第一层在时刻t的输入。weight_ih_l[k] – 第。weight_hh_l[k] – 第。bias_ih_l[k] – 第。bias_hh_l[k] – 第。偏置， 可学习，形状是。h_t是时刻t的隐状态。
深度学习简单概述
SQL__Learning的博客
06-09 877
理论上来说，参数越多的模型复杂度越高、容量越大，这意味着它能完成更复杂的学习任务。但复杂模型的训练效率低，易陷入过拟合。随着云计算、大数据时代的到来，计算能力的大幅提高可以缓解训练的低效性，训练数据的大幅增加可以降低过拟合风险。因此，以深度学习（Deep Learning，DL）为代表的复杂模型迎来关注。深度学习是一类模式分析方法的统称，就具体研究内容而言，主要涉及三类方法：（1）基于卷积运算的神经网络系统，即卷积神经网络（CNN）
NLP实战入门——文本分类任务（TextRNN，TextCNN，TextRNN_Att，TextRCNN，FastText，DPCNN，BERT，ERNIE）
a_blade_of_grass的博客
06-09 1922
本文参考自，是为了进行NLP的一些典型模型的总结和尝试。
吴恩达深度学习课程第四章编程作业pytorch
08-06
你好！对于吴恩达深度学习课程的第四章编程作业，如果你想使用PyTorch来完成，可以参考以下步骤： 1. 首先，确保你已经安装了PyTorch库，可以通过官方网站或者pip安装。 2. 然后，根据作业的要求，下载并导入需要使用的数据集。 3. 接下来，你可以创建一个PyTorch模型类，定义你的神经网络结构。根据作业的要求，你可能需要使用不同的层和激活函数。 4. 在模型类中，你可以定义前向传播函数（forward）来计算输出，并在训练过程中使用损失函数来计算损失值。 5. 使用PyTorch提供的优化器（如SGD、Adam等），在训练集上迭代训练模型。你可以使用循环或者PyTorch提供的高级API（如torch.nn.Module、torch.nn.functional等）来实现。 6. 在训练过程中，你需要选择合适的超参数（如学习率、批大小等），并在每个迭代周期中更新模型参数。 7. 最后，你可以使用测试集来评估模型的性能，并根据需要进行调整和优化。 希望以上步骤能对你有所帮助！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值