深度学习（Deep Learning）读书思考七：循环神经网络二（LSTM）

最新推荐文章于 2024-05-15 19:38:44 发布
最新推荐文章于 2024-05-15 19:38:44 发布
阅读量5.8k 收藏 8
点赞数 4
分类专栏： 读书笔记 深度学习 ML 文章标签： 深度学习 LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fangqingan_java/article/details/53019285
版权

概述

通过前一节对循环神经网络RNN的了解，简单的RNN虽然能够解决长期依赖问题，但是训练和优化比较困难，然后长短时记忆模型LSTM很大程度上解决长期依赖问题，本文主要介绍

1.LSTM的提出
2.LSTM网络结构
3.LSTM的分析

LSTM的提出

早在94年Hochreiter发现了RNN训练过程中的梯度消失和爆炸问题，然后在99年提出LSTM解决该问题。

梯度消失问题的原因可以参考之前的介绍。

常量错误传播

RNN难训练的主要原因在后向传播过程中，梯度随着时间序列的增加而逐渐消失。如果误差能够不消减的进行传递，则可以避免训练难得问题。

常量错误传播-直观想法

假设隐藏层只有一个节点j，则该节点误差计算过程为

δj(t)=f′j(netj(t))δj(t+1)wjj
其中 netj(t)表示该节点的网络输入,δj(t)表示节点j的误差 .
如果想做到常误差传播，则需要
f′j(netj(t))wjj=1

此时可以近似无限长时间序列，但是网络过于简单并且实现比较复杂。

LSTM也是根据CEC演化而来。

针对上面的必要条件 f′j(netj(t))wjj=1 ，两边同时积分可以得到

fj(netj(t))=netj(t)wjj
对于任意时序网络输入 netj(t) 都要满足。
此时激活函数必须是线性并且激活值保持为常量。
yj(t+1)=fj(netj(t+1))=fj(wjjy
最低0.47元/天 解锁文章
下一步
关注
  • 4
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习（Deep Learning）读书思考六：循环神经网络一（RNN）
fangqingan_java的专栏
11-20 1万+
概述 循环神经网络（RNN-Recurrent Neural Network）是神经网络家族中的一员，擅长于解决序列化相关问题。包括不限于序列化标注问题、NER、POS、语音识别等。RNN内容比较多，分成三个小节进行介绍，内容包括RNN基础以及求解算法、LSTM以及变种GRU、RNN相关应用。本节主要介绍 1.RNN基础知识介绍 2.RNN模型优化以及存在的问题 3.RNN模
递归神经网络RNN与LSTM
05-03
递归神经网络RNN与LSTM简介与算法推导。
LSTM学习笔记
omnispace的博客
09-21 878
Long Short-Term Memory（LSTM） 是一种循环神经网络（Recurrent Neural Network, RNN）。跟所有RNN一样，在网络单元足够多的条件下，LSTM可以计算传统计算机所能计算的任何东西。 Like most RNNs, an LSTM network is universal in the sense that given enough netwo
基于LSTM进行简单二分类
m0_67458511的博客
05-15 628
self.rnn = nn.GRU（input_size = embedding维度,hidden_size=RNN维度。self.embedding = nn.Embedding(词库大小, 词向量维度, padding_idx=0)x = {token1:id1} --------- 用于将文本token进行数值转换，传给模型。id_y = {id1:y1} --------- 用于将模型传出的结果转换中午标签。y_id = {y1:id1} --------- 用于将标签转换数值 传给模型。
学习笔记TF017:自然语言处理、RNN、LSTM
利炳根
05-31 861
自然语言处理 (NLP)问题都是序列化的。前馈神经网络，在单次前馈中对到来数据处理，假定所有输入独立，模式丢失。循环神经网络(recurrent neural network,RNN)对时间显式建模神经网络。RNN神经元可接收其他神经元加权输入。RNN神经元可与更高层建立连接，也可与更低层建立连接。隐含活性值在同一序列相邻输入间被记忆。2006年 LSTM。语音识别、语音合成、手写连体字识别、时间序
（2024，LSTM，Transformer，指数门控，归一化器状态，多头内存混合）xLSTM：扩展的 LSTM
qq_44681809的博客
05-08 1040
xLSTM 引入指数门控，并修改 LSTM 的内存结构来扩展LSTM。sLSTM带有标量内存、标量更新和新的内存混合。完全可并行化的 mLSTM，具有矩阵内存和协方差更新规则（类似于Transformer的QKV）。
LSTM实现详解
cdj0311的专栏
09-15 3297
前言 在很长一段时间里，我一直忙于寻找一个实现LSTM网络的好教程。它们似乎很复杂，而且在此之前我从来没有使用它们做过任何东西。在互联网上快速搜索并没有什么帮助，因为我找到的都是一些幻灯片。 幸运地是，我参加了Kaggle EEG 竞赛，而且我认为使用LSTM很有意思，最后还理解了它的工作原理。这篇文章基于我的解决方案，使用的是Andrej Karpathy的char-rnn代码，
DeepLearning深度学习教程_第六章_循环神经网络(RNN).pdf
08-23
Deep Learning 深度学习之循环神经网络（RNN） 循环神经网络（RNN）是一种特殊类型的神经网络，它擅长于处理序列数据，例如时间序列数据、自然语言处理等。RNN 的出现是为了解决传统神经网络无法处理序列数据的问题...
Deep-Learning-in-Python-master_deeplearning_深度学习回归_Python深度学习_神经
09-30
在深度学习中，回归通常使用全连接神经网络、循环神经网络（RNN）或者其变种，如长短时记忆网络（LSTM）来实现。 循环神经网络（RNN）是处理序列数据的强大工具，常用于自然语言处理中的文本生成、语音识别等场景。...
DeepLearning:深度学习神经网络重建原始码
03-22
深度学习简述第一部分常见深度学习框架（Python API） TensorFlow 对（TensorFlow进一步封装） PyTorch（FaceBook） CNTK（微软） MXNet 胶子见文件夹：框架第二部分前馈神经网络感知器一个单层神经网络一个多层神经...
神经网络与深度学习Neural Network and Deep Learning
05-31
此外，书中还介绍了循环神经网络（Recurrent Neural Networks, RNNs）及其变体，如长短期记忆网络（LSTM），它们在处理序列数据，如时间序列分析和自然语言处理上表现出色。 书中不仅包含了理论知识，还包含了许多...
深度学习deeplearning-assignment
最新发布
05-19
在这个名为"深度学习deeplearning-assignment"的项目中，我们可以推测这是一份关于深度学习的实践作业或者教程，可能包含了多个实验或练习，帮助学习者深入理解和掌握深度学习技术。 深度学习的核心概念包括神经...
循环神经网络(RNN)简介
热门推荐
网络资源是无限的
09-01 4万+
人工神经网络介绍参考： https://blog.csdn.net/fengbingchun/article/details/50274471  卷积神经网络介绍参考： https://blog.csdn.net/fengbingchun/article/details/50529500  这里在以上两篇基础上整理介绍循环神经网络： 前馈网络可以分为若干”层”，各层按信号传输先后顺序依次排列...
LSTM-Long Short-Term Memory-笔记
jiayoudangdang的博客
02-28 1953
LSTM-Long Short-Term Memory 0 摘要 周期性的反向传播学习，在扩展的时间间隔内存储信息需要很长的时间，这主要是由于不确定的、衰减的错误导致的。我们简要回顾了Hochreiter在1991年对这个问题的分析，然后介绍了一种新颖的、独特的、基于梯度的方法，称为LSTM (LSTM)。在不造成伤害的情况下截断梯度，LSTM可以学习在超过1000个离散时间步长的最小时间滞后上桥接，方法是通过在特殊unit内的“恒定误差轮盘”强制执行恒定误差。乘性门unit学习打开和关闭访问的恒定误差
长短期记忆网络LSTM
maelee的博客
06-16 421
上一回我们学习了RNN循环神经网络，而LSTM网络是对RNN网络做的一个改良。 由于RNN模型中存在梯度爆炸与梯度消失，尤其是梯度消失的问题非常严重，针对这个问题，LSTM做了改良。 RNN是想把所有的信息都记住，不论是有没有用的，这样就会导致遗忘掉许多东西，而LSTM设计了一个记忆细胞，具备选择性记忆的功能，可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担。LSTM： Ht-1可以理解为上一个事假的权重得分。 通过乘法运算，遗忘掉矩阵中0,保留1（清空不相关的学习到的知识）。 过滤掉无关的知识 生成新知
深度学习之序列建模初总结
S_o_l_o_n的博客
09-21 1930
本文旨在讲解使用深度学习模型对序列数据进行建模，并且主要集中再MLP、RNN、LSTM以及GRU。 MLP MLP是最简单的神经网络模型，其就是一个简单的DNN，即全连接前馈深度神经网络。根据通用近似理论，MLP可以近似拟合出任意的连续函数。但是这里有一个基本的前提是，输入数据包含了影响应变量或者说预测变量的所有因子或者说特征，而且数据量需要足够大，这个足够大是相对于噪声和具体模型而言的。实际上，现实情况是，我们并无法在输入数据中包含所有特征，而且现实数据也往往包含较多的...
RNN中BPTT的推导和可能的问题
g11d111的博客
07-30 2986
最近开始啃LSTM，发现BPTT这块还是不是很清晰，结合RNN，把这块整理整理 RNN前馈神经网络（feedforward neural networks）如下图所示（这块内容可见我的博客神经网络BP算法）： 假设我们的训练集只有一个实例（x(1),y(1)x(1),y(1)），我们的神经网络是一个三层的神经网络，即隐藏层只有1层。 以中间层神经元SjS_j，(j=1,2)为例，它只模仿了
第一门课 神经网络和深度学习1
08-04
本章节涵盖了神经网络的基本原理和深度学习的起源，特别是深度学习中的关键算法如深度神经网络（DNN），卷积神经网络（CNN）和循环神经网络（RNN）及其变种，如长短时记忆网络（LSTM）。课程开始时，提到了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值