【23-24 秋学期】NNDL 作业10 BPTT

已于 2023-12-04 13:31:45 修改
阅读量341 收藏
点赞数 2
分类专栏： NNDL作业[2023-2024秋] 文章标签： 深度学习
于 2023-12-04 12:03:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38975453/article/details/134780714
版权


习题6-1P 推导RNN反向传播算法BPTT.

习题6-2 推导公式(6.40)和公式(6.41)中的梯度．

习题6-3 当使用公式(6.50)作为循环神经网络的状态更新公式时， 分析其可能存在梯度爆炸的原因并给出解决方法．

习题6-2P 设计简单RNN模型，分别用Numpy、Pytorch实现反向传播算子，并代入数值测试.

 代码实现

REF：L5W1作业1 手把手实现循环神经网络_追寻远方的人的博客-CSDN博客

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6BYdh19X-1667651367214)(L5W1%E4%BD%9C%E4%B8%9A1%20%E6%89%8B%E6%8A%8A%E6%89%8B%E5%AE%9E%E7%8E%B0%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.assets/960-1667291444258-2.png)]
 

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4hUm4GaQ-1667651367218)(L5W1%E4%BD%9C%E4%B8%9A1%20%E6%89%8B%E6%8A%8A%E6%89%8B%E5%AE%9E%E7%8E%B0%E5%BE%AA%E7%8E%AF%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C.assets/960-1667291444258-5.png)]

HBU_David
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
nndl-book邱锡鹏.pdf
05-16
邱锡鹏神经网络与深度学习，非常好的深度学习教材，与nlp技术相结合
实验环境5-1所需要的nndl包
10-28
《神经网络基础与nndl库解析》 神经网络，作为人工智能领域的核心组成部分，已经在机器学习、深度学习等众多领域展现出强大的潜力。nndl（Neural Network and Deep Learning Library）是针对这一主题的一个重要...
作业10 BPTT
m0_62584837的博客
12-13 415
p习题6-1P。
【23-24 秋学期】NNDL 作业11 LSTM
weixin_61838030的博客
12-17 235
首先是给大家推荐一下课程，有老师上课讲的下边这种动图：然后我在推导有关Ct的递归梯度时，也是参考了这个视频，博主【苏坡爱豆的笑容】讲的很清楚！！！【清晰图解LSTM、BPTT、RNN的梯度消失问题】【循环神经网络讲解｜随时间反向传播推导(BPTT)｜RNN梯度爆炸和梯度消失的原因｜LSTM及GRU(解决RNN中的梯度爆炸和梯度消失)-跟李沐老师动手学深度学习】都非常nice！还有一篇知乎的文章解释有关避免梯度消失的也特别好！LSTM 如何避免梯度消失问题 - 知乎 (zhihu.com)
NNDL 作业10 BPTT
m0_62581697的博客
12-10 889
relu函数的导数在正数部分是恒等于1的，因此在深层网络中使用relu激活函数就不会导致梯度消失和爆炸的问题。1、学习这东西果然是孰能生巧，推导第一个题时候，还在认认真真的做，第二个和第三个题发现完全可以类比过去，就最后一个偏导不一样，所以直接将这钱的式子略加修改即可。2、卷积神经网络和RNN的不同之处就是，卷积神经并不权重共享，每一层的参数都是不一样的，而RNN是权重共享的。挺好奇门控循环单元的，就看到我室友呕心沥血的巨作，我拜读一下，大呼牛逼！3、代码又是看上一届的，不过要自己过一遍，不能囫囵吞枣。
NNDL 作业10 BPTT [HBU]
weixin_63010525的博客
12-08 298
习题6-1P 推导RNN反向传播算法BPTT.循环神经网络的参数通过梯度下降方法学习，以随机梯度下降为例，给定一个训练样本(x,y),其中:长度为T的输入序列为:长度为T的标签序列为:即在每个时刻t，都有一个监督信息，定义时刻t的损失函数为：(其中为第t时刻的输出，L为可微分的损失函数)即。随时间反向传播(BackPropagation Through Time,BPTT)算法的主要思想是通过类似前馈神经网络的错误反向传播算法来计算梯度。
NNDL 作业9：分别使用numpy和pytorch实现BPTT
qq_51316271的博客
11-21 375
作业9
HBU-NNDL 作业10：第六章课后题（LSTM | GRU）
m0_57215376的博客
11-27 685
LSTM GRU
NNDL 作业11 LSTM
qq_62572945的博客
12-18 903
1. 这次作业感悟最大的是对于LSTM反向传播的推导过程，推导过程我听了清晰图解LSTM、BPTT、RNN的梯度消失问题_哔哩哔哩_bilibili和5.LSTM如何缓解梯度消失（公式推导）_哔哩哔哩_bilibili这两个视频讲解，第一个视频主要是讲解LSTM解决梯度消失的原因，对LSTM的过程进行了动图演示，公式主要参考第二个视频的讲解明白了公式的来龙去脉，根据讲解画出了反向传播的路径图并写出了推导公式。2.关于第二问的代码我参考了DL Homework 11-CSDN博客和。
NNDL学期知识点总结 [HBU]
weixin_63010525的博客
01-03 1368
人工智能-机器学习-深度学习 概念整理-CSDN博客[23-24 秋学期] NNDL-作业2 HBU-CSDN博客NNDL作业-Softmax回归风险函数与正则化 HBU-CSDN博客[23-24 秋学期] NNDL 作业4 前馈神经网络 HBU-CSDN博客[23-24秋学期]NNDL作业5 第四章课后习题 HBU_如果限制一个全连接神经网络的总神经元数量(不考虑输入层) 为n+1.输入层大小-CSDN博客[23-24 秋学期]NNDL 作业6 卷积 [HBU]-CSDN博客。
-NNDL-
03-21
【标题】：“-NNDL-”通常是一个不完整的或者临时的标题，它没有提供足够的信息来明确指代一个具体的IT知识点。在这种情况下，我们可能需要假设这是一个关于神经网络（Neural Network）和深度学习（Deep Learning）...
2018-Springer-Aggarwal@IBM-NNDL-p512-（好书可作为课本）.pdf
07-15
IBM 研究员Aggarwal 2018年出版的深度学习书，比goodfellow&Bengio那本要精简一些，512页，供参考。
神经⽹络与深度学习nndl-ebook.zip
05-14
《神经网络与深度学习》是一本深入探讨神经网络和深度学习领域的权威著作。该书以中文形式呈现，旨在帮助读者从基础知识逐步理解并掌握复杂的深度学习技术。通过阅读这本书，你可以了解到神经网络的基本原理，以及...
人工智能、机器学习、神经网络、深度学习和卷积神经网络的概念和关系
xrgs_shz的博客
07-07 950
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的有效表示，而这种使用相对较短、稠密的向量表示叫做分布式特征表示（也可以称为嵌入式表示）。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。又称为机器智能，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是智能学科重要的组成部分，它企图了解智能的实质，并生产出一种新的能以与。核心，是使计算机具有智能的根本途径。
基于深度学习的点云降噪
最新发布
weixin_42605076的博客
07-10 1346
基于深度学习的点云降噪是一种利用深度学习模型处理三维点云数据，以去除噪声并恢复点云的原始形状和细节的方法。点云数据广泛应用于自动驾驶、机器人导航、3D扫描和虚拟现实（VR）等领域，因此高质量的点云数据处理至关重要。
Transformer-LSTM分类 | Matlab实现Transformer-LSTM多特征分类预测/故障诊断
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
07-10 806
Transformer-LSTM分类 | Matlab实现Transformer-LSTM多特征分类预测/故障诊断
【深度学习】图形模型基础(6)：模型优化理论
MUKAMO的博客
07-10 896
模型优化理论关注提升模型性能、准确性和效率。SGD（随机梯度下降）是其关键算法之一，通过随机选取样本计算梯度并更新模型参数，以提高训练速度和适用性。SGD尤其适合大规模数据集，但可能因梯度噪声导致收敛波动。改进算法如动量法和自适应学习率算法（如Adam）进一步加速收敛并提升精度。总之，模型优化理论和SGD是机器学习不可或缺的工具，助力提升模型性能，推动深度学习发展。
人工智能及深度学习在病理组学中的应用概述｜系列推文·24-07-11
qq_45404805的博客
07-10 1178
首先，小罗会带大家回顾计算机和编程的起源，解释从最初的电子计算器到现代计算机的发展历程，以及高级编程语言如何简化计算机指令的编写。其次，本期推文会深入探讨机器学习的不同类型，包括深度学习、神经网络和其他学习算法，以及它们如何被应用于解决实际问题，特别是在病理学领域。最后，小罗会列举一些AI技术当前面临的挑战，包括算法的单一任务限制、对大量数据集的需求以及计算过程中的能源效率问题……。
nndl-book是什么
06-28
nndl-book是指《自然语言处理综述》一书，它是由计算机科学领域的权威学者Christopher Manning和Hinrich Schütze共同编写的一本综述自然语言处理技术的教材。这本书首次出版于1999年，现已有第二版和第三版。nndl-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值