神经网络与深度学习 作业10：第六章课后题（LSTM | GRU）

最新推荐文章于 2023-10-27 11:28:11 发布
最新推荐文章于 2023-10-27 11:28:11 发布
阅读量913 收藏 6
点赞数 1
分类专栏： 神经网络与深度学习 《神经网络与深度学习》课后习题 文章标签： 深度学习 神经网络 lstm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53651790/article/details/128064978
版权

目录

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做) 

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做) 

参考资料 

习题6-3 当使用公式(6.50)作为循环神经网络得状态更新公式时，分析其可能存在梯度爆炸的原因并给出解决办法.

梯度爆炸问题产生的原因是由于公式Z_{k}=Uh_{k-1}+Wx_{k}+b作为函数g(\ast )在第k时刻的输入时，计算误差项\delta _{t,k}=\frac{\partial L_{t}}{\partial z_{k}}，梯度可能会过大，从而导致梯度爆炸，可以通过使用LSTM网络来增加门控机制，以此来解决该问题。


习题6-4推导LSTM 网络中参数的梯度,并分析其避免梯度消失的效果.

 LSTM中通过门控机制解决梯度问题，遗忘门，输入门和输出门是非0就是1的，门为1时，梯度能够很好的在LSTM传递，减轻了梯度消失发生的概率，门为0时，上一刻的信息对当前时刻无影响，因此也没必要接受传递更新参数。

习题6-5推导GRU网络中参数的梯度,并分析其避免梯度消失的效果. (选做) 

GRU具有调节信息流动的门单元，但没有一个单独的记忆单元，GRU将输入门和遗忘门整合成一个升级门，通过门来控制梯度。这种方式使网络学会合理地设置门控数值，从而决定何时让梯度消失，何时保持梯度。 

 

附加题6-1P:什么时候应该用GRU?什么时候用LSTM?(选做) 

相较于LSTM， 由于 GRU 参数更少，收敛速度更快，因此花费时间要少很多。 而LSTM则更加灵活，因为它具有三个门控。但实际上，二者之间的表现差距往往并不大，远没有调参所带来的效果明显，二者之间的选择要根据具体的任务和数据集而定。

参考资料 

 GRU和LSTM在各种使用场景应该如何选择？ - 知乎 (zhihu.com)

lstm-bp过程的手工源码实现 - Bob·li - 博客园 (cnblogs.com) 

Jacobson Cui
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
神经网络与深度学习-课后习题
using namespace 数学工具构造器;
02-22 2764
文章目录2 机器学习概述习题2-1 分析为什么平方损失函数不适用于分类问题．习题2-2 线性回归的权重习题2-3 XXTXX^TXXT的秩2-4 结构风险最小化 最小二乘估计 岭回归2-5 最大似然估计与最小二乘估计在标签服从高斯分布时等价2.6 最大似然估计与最大后验估计2.9 欠拟合→高偏差，过拟合→高方差2.11 N-gram3 线性模型多分类Logistic RegressionSoftmax Regression感知机支持向量机y⋅y^y\cdot \hat{y}y⋅y^​ 形式的损失函数LR S
邱锡鹏《神经网络与深度学习》—— 部分习题答案整理
热门推荐
zzbro
10-28 3万+
nndl
《神经网络与深度学习》（Michael Nielsen）Neural Networks and Deep Learning习题解答汇总
weixin_43303603的博客
09-26 1204
《神经网络与深度学习》（Michael Nielsen）1.6节完整程序解析 第二章改进神经网络的学习方法 《神经网络与深度学习》Neural Networks and Deep Learning习题解答 章节 名称 类型 地址 第 1 章 使⽤神经⽹络识别⼿写数字 1.2 S 型神经元 练习 传送门 1.4 ⼀个简单的分类⼿写数字的⽹络 总结 传送门
神经网络与深度学习第四章前馈神经网络习题解答
ABU366的博客
10-27 1509
再举个形象的例子，比如你要从山顶走到山谷，你直线走下去即为最大负梯度方向，收敛快，但是你要很贪心的曲折的走，虽然在朝着山谷的方向走，但不是最快的方向，你同样可以到达终点，但是你的速度相较于直线走肯定是要慢的，条条大路通罗马，但是不可能全部人都走最快的大路，也有人走蜿蜒曲折的小路。肯定不是沿着最大的负梯度方向进行下降的，而是以曲折抖动的方式进行下降（结合图1），但是以零均值化的方式，可以最大程度的保证数据沿着最大的负梯度方向进行下降，所以当。是恒大于0的，其次，若x恒大于0,会导致。
NNDL 作业10：第六章课后题（LSTM | GRU）
weixin_51626106的博客
11-28 605
NNDL 作业10：第六章课后题（LSTM | GRU）
Python深度学习（包含：BILSTM、LSTM、GRU 、BP
05-15
本文将深入探讨Python中实现的几种重要序列建模技术：双向长短期记忆网络（BILSTM）、长短期记忆网络（LSTM）、门控循环单元（GRU）以及反向传播算法（BP）。这些技术在处理序列数据，如自然语言处理（NLP）任务和...
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
循环神经网络的进化：PyTorch中的LSTM、GRU与更多
最新发布
07-19
### 循环神经网络的进化：PyTorch 中的 LSTM、GRU 与更多 在深度学习领域，循环神经网络（RNN）以其独特的处理序列数据能力占据着重要的位置。随着技术的发展，RNN 已经演化出了多种变种，其中最著名的包括长短期...
时间序列预测学习：包含BP、CNN、LSTM、GRU、RNN、SVM、cnn+lstm
02-19
时间序列预测学习：包含BP、CNN、LSTM、GRU、RNN、SVM、cnn+lstm 包售后，有问题可在我的主页找到我的球球，不满意的话酌情退款 cnn+lstm： mini_data cnn_lstm.py GRU GRU_Sunspots Monthly Sunspots.csv LSTM LSTM...
深度学习实战41-基于LSTM-GRU模型搭建对糖尿病数据的预测与应用
06-25
深度学习实战41-基于LSTM-GRU模型搭建对糖尿病数据的预测与应用，本文将向大家介绍一种基于LSTM-GRU的糖尿病预测模型，包括模型的原理、中文糖尿病csv数据样例、利用PyTorch框架进行模型训练与预测的实现、以及训练...
Neural Networks and Deep Learning习题解答--神经网络结构
剑启郁兰的博客
06-06 3465
神经网络与深度学习习题解答 Neural Networks and Deep Learning(作者 Michael Nielsen)书中第二章Using neural nets to recognize handwritten digits的A simple network to classify handwritten digits一节，该节简单说明了神经网络原理并给出一些启发式的思考。该节...
动手学深度学习（六）
no-bug
02-25 349
批量归一化和残差网络； 凸优化； 梯度下降
神经网络与深度学习作业10：（LSTM | GRU）
ABU366的博客
11-26 703
神经网络与深度学习作业10：（LSTM | GRU）
深度学习入门——简单神经网络（2层）求梯度
小杨的博客
09-10 681
# coding: utf-8 import sys, os sys.path.append(os.pardir) import numpy as np # ---------------------------激活函数定义--------------------------------------------------- def softmax(a): """解决softmax函数...
NNDL 实验五 前馈神经网络（2）自动梯度计算 & 优化问题
vvhvj的博客
10-07 411
在训练过程中，如果参数在一次不恰当的更新后，某个ReLU神经元在所有训练数据上都不能被激活（即输出为0），那么这个神经元自身参数的梯度永远都会是0，在以后的训练过程中永远都不能被激活。继承了paddle.nn.Layer类的算子中，可以在内部直接调用其它继承paddle.nn.Layer类的算子，飞桨框架会自动识别算子中内嵌的paddle.nn.Layer类算子，并自动计算它们的梯度，并在优化时更新它们的参数。当网络层数很深时，梯度就会不停衰减，甚至消失，使得整个网络很难训练，这就是所谓的梯度消失问题。
机器学习：BP神经网络梯度更新
BigCowPeking
02-20 1819
1：BP神经网络梯度更新每一层的权值更新的详细步骤：详细的步骤：主要是写的太好了，我就不在编辑公式了！
神经网络例程-梯度下降法更新权值
迷宫中的我
09-28 5600
以下代码来自Deep Learning for Computer Vision with Python第九章。   一、梯度下降法（Gradient Decent） # import the necessary packages from sklearn.model_selection import train_test_split from sklearn.metrics import ...
深度学习100题（1）
乐亦亦乐的博客
09-29 1万+
来源：BAT面试1000题https://zhuanlan.zhihu.com/c_140166199 1、梯度下降算法的正确步骤是什么？ a.计算预测值和真实值之间的误差 b.重复迭代，直至得到网络权重的最佳值 c.把输入传入网络，得到输出值 d.用随机值初始化权重和偏差 e.对每一个产生误差的神经元，调整相应的（权重）值以减小误差 A.abcde B.edcba C.cbaed D.dcaeb 解析：正确答案D，考查知识点-深度学习。 2、已知： - 大脑是有很多个叫做神经元的.
深度学习与神经网络习题（1）
Ritajiaojiao的博客
10-22 7152
网易云课堂上吴恩达教授的《神经网络与深度学习》的课程，第一周的测试题
深度学习与NLP：语言模型、RNN、LSTM与GRU解析
"NLP教程第五部分探讨了语言模型、循环神经网络RNN以及其变体LSTM和GRU在自然语言处理中的应用。本文由韩信子@ShowMeAI撰写，提供了对斯坦福CS224n课程的详细学习笔记。教程涵盖了RNN、LSTM、GRU在语言建模、语音...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值