3. RNN神经网络-LSTM模型结构

最新推荐文章于 2024-04-22 21:07:32 发布
最新推荐文章于 2024-04-22 21:07:32 发布
阅读量505 收藏 1
点赞数
文章标签： 人工智能
原文链接：http://www.cnblogs.com/huangyc/p/10366873.html
版权
1. RNN神经网络模型原理
2. RNN神经网络模型的不同结构
3. RNN神经网络-LSTM模型结构

1. 前言

之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM（Long Short-Term Memory），它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。下面我们就对LSTM模型做一个总结。

2. LSTM模型结构

我们先看下LSTM的整体结构。
image

由于RNN梯度消失的问题，大牛们对于序列索引位置t的隐藏结构做了改进，可以说通过一些技巧让隐藏结构复杂了起来，来避免梯度消失的问题，这样的特殊RNN就是我们的LSTM。由于LSTM有很多的变种，这里我们以最常见的LSTM为例讲述。

2.1 细胞状态

在每个序列索引位置t时刻向前传播的除了和RNN一样的隐藏状态\(h_t\)，还多了另一个隐藏状态，如图中上面的长横线。这个隐藏状态我们一般称为细胞状态(Cell State)，记为\(C_t\)。如下图所示：

image

2.2 LSTM之遗忘门

遗忘门（forget gate）顾名思义，是控制是否遗忘的，在LSTM中即以一定的概率控制是否遗忘上一层的隐藏细胞状态。遗忘门子结构如下图所示：

image

图中输入的有上一序列的隐藏状态\(h_{t-1}\)和本序列数据\(x_t\)，通过一个激活函数，一般是sigmoid，得到遗忘门的输出\(f_t\)。由于sigmoid的输出\(f_t\)在[0,1]之间，因此这里的输出\(f_t\)代表了遗忘上一层隐藏细胞状态的概率。用数学表达式即为：

\[ f_{t} = \sigma(W_fh_{t-1} + U_fx_{t} + b_f) \]
其中\(W_f,U_f,b_f\)为线性关系的系数和偏倚，和RNN中的类似。\(\sigma\)为sigmoid激活函数。

2.3 LSTM之输入门

输入门（input gate）负责处理当前序列位置的输入，它的子结构如下图：

image

从图中可以看到输入门由两部分组成，第一部分使用了sigmoid激活函数，输出为\(i_t\)第二部分使用了\(tanh\)激活函数，输出为\(a_t\),两者的结果后面会相乘再去更新细胞状态。用数学表达式即为：
\[ i_{t} = \sigma(W_ih_{t-1} + U_ix_{t} + b_i) \]

\[ a_{t} =tanh(W_ah_{t-1} + U_ax_{t} + b_a) \]
其中\(W_i,U_i,b_i,W_a,U_a,b_a\)为线性关系的系数和偏倚，和RNN中的类似。\(\sigma\)为sigmoid激活函数。

2.4 LSTM之细胞状态更新

在研究LSTM输出门之前，我们要先看看LSTM之细胞状态。前面的遗忘门和输入门的结果都会作用于细胞状态\(C_t\)。我们来看看从细胞状态\(C_{t-1}\)如何得到\(C_t\)。如下图所示：

image
细胞状态\(C_t\)由两部分组成，第一部分是\(C_{t-1}\)和遗忘门输出\(f_t\)的乘积，第二部分是输入门的\(i_t\)和\(a_t\)的乘积，即：

\[ C_{t} = C_{t-1} \odot f_{t} + i_{t} \odot a_{t} \]

2.5 LSTM之输出门

有了新的隐藏细胞状态\(C_t\)，我们就可以来看输出门了，子结构如下：

image

从图中可以看出，隐藏状态\(h_t\)的更新由两部分组成，第一部分是\(o_t\),它由上一序列的隐藏状态\(h_{t-1}\)和本序列数据\(x_t\)，以及激活函数sigmoid得到，第二部分由隐藏状态\(C_t\)和\(tanh\)激活函数组成, 即：

\[ o_{t} = \sigma(W_oh_{t-1} + U_ox_{t} + b_o) \]

\[ h_{t} = o_{t} \odot tanh(C_{t}) \]

3. 总结

通过本节的剖析，相信大家对于LSTM的模型结构已经有了解了。当然，有些LSTM的结构和上面的LSTM图稍有不同，但是原理是完全一样的。

转载于:https://www.cnblogs.com/huangyc/p/10366873.html

weixin_30647065
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
循环神经网络RNN以及几种经典模型
01-07
RNN简介 现实世界中，很多元素都是相互连接的，比如室外的温度是随着气候的变化而周期性的变化的、我们的语言也需要通过上下文的关系来确认所表达的含义。但是机器要做到这一步就相当得难了。因此，就有了现在的循环神经网络，他的本质是：拥有记忆的能力，并且会根据这些记忆的内容来进行推断。因此，他的输出就依赖于当前的输入和记忆。 网络结构及原理 循环神经网络的基本结构特别简单，就是将网络的输出保存在一个记忆单元中，这个记忆单元和下一次的输入一起进入神经网络中。 一个最简单的循环神经网络在输入时的结构示意图： RNN 可以被看做是同一神经网络的多次赋值，每个神经网络模块会把消息传递给下一个，我们将这个图的
简单理解RNN循环神经网络
01-06
简单理解RNN循环神经网络RNN(Recurrent Neural Network）介绍图说RNN宏观结构图说RNN微观结构 RNN(Recurrent Neural Network）介绍 介绍： RNN，也就是循环神经网络，是用来建模序列化数据的一种主流的深度学习模型。传统的前馈神经网络处理的输入往往都是一个定长向量，较难应对变长的序列信息，就算把序列处理成定长的向量，模型也很难捕捉序列中的长距离依赖关系。而RNN中的每个神经元能够运用其内部变量保存之前输入的序列信息，将所有神经元串行就可以处理序列化数据。 应用领域： 机器翻译、聊天机器人、序列标注、图像描述和推荐系统。 图说RNN宏观结构
LSTM-深度学习循环神经网络情感分类模型搭建
do_it_123的博客
03-08 402
LSTM-深度学习循环神经网络情感分类模型搭建
RNN（recurrent neural network）（一）——基础知识
天泽28的专栏
12-11 5098
RNN（recurrent neural network）（一）——基础知识 RNN系列博客： RNN（recurrent neural network）（一）——基础知识 RNN（recurrent neural network）（二）——动手实现一个RNN       &n
LSTM模型基础学习
m0_64469199的博客
07-22 2997
因为项目需要针对时间序列预测数据，故临时学习。本篇适合没有人工智能基础但需要进行时间序列数据预测开发的读者，供您挑选出适合自身项目开发的模型模板。
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
ADwenwen的博客
08-07 3566
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
LSTM模型
Ambrosedream的博客
03-08 3967
概念 LSTM：长短期记忆细胞神经网络 长短期记忆网络是一种时间递归神经网络，适合处理和预测时间序列中间隔和延迟相对较长的重要事件。 使用遗忘门的LSTM适用于连续性的预测。 LSTM避免了RNN（循环神经网络）网络的梯度消失和梯度爆炸问题。 LSTM 使用记忆单元代替神经元。 组成 一个LSTM单元由一个记忆细胞 CtC_tCt​ 和三个门结构组成（输入门 iti_tit​ 、遗忘门 ftf_tft​、输出门 oto_tot​）. 在 t 时刻，xtx_txt​代表输入数据，hth_tht​代表隐藏层。X
【LSTM】深入浅出讲解长短时记忆神经网络（结构、原理）
程序星空实验室
05-26 3万+
1、LSTM的背景介绍 长短时记忆神经网络（Long Short-term Memory Networks，简称LSTM）是特殊的RNN，尤其适合顺序序列数据的处理，LSTM 由 Hochreiter & Schmidhuber (1997) 提出，并在近期被 Alex Graves 进行了改良和推广，LSTM明确旨在避免长期依赖性问题，成功地解决了原始循环神经网络的缺陷，成为当前最流行的RNN，在语音识别、图片描述、自然语言处理等许多领域中成功应用。 2、RNN的不足 图...
RNN 结构详解
源码森林
05-22 2620
转自RNN 结构详解 | 机器之心 （分享自 @机器之心Synced） https://www.jiqizhixin.com/articles/2018-12-14-4 RNN 结构详解 NLP里最常用、最传统的深度学习模型就是循环神经网络 RNN（Recurrent Neural Network）。这个模型的命名已经说明了数据处理方法，是按顺序按步骤读取的。与人类理解文字的道理...
RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制
码python的Vinsmoke
10-29 1万+
1. RNN架构解析 1.1 认识RNN模型 学习目标 了解什么是RNN模型. 了解RNN模型的作用. 了解RNN模型的分类. 什么是RNN模型 RNN(Recurrent Neural Network), 中文称作循环神经网络, 它一般以序列数据为输入, 通过网络内部的结构设计有效捕捉序列之间的关系特征, 一般也是以序列形式进行输出. 一般单层神经网络结构: RNN单层网络结构: 以时间步对RNN进行展开后的单层网络结构: RNN的循环机制使模型隐层上一时间步产..
LSTM模型介绍
热门推荐
张启宇(Joey Zhang)的专栏
02-04 5万+
递归神经网络（RNN） 人类不会每时每刻都开始思考。 当你阅读这篇文章时，你会根据你对之前单词的理解来理解每个单词。 你不会忘掉掉所有东西，然后再从头开始思考。 你的想法有持久性。 传统的神经网络不能做到这一点，这是一个主要的缺点。 例如，假设您想要对电影视频中每个点发生的事件进行分类。 目前尚传统神经网络无法利用其对电影中先前事件的推理来预测后者。 循环神经网络解决了这个问题。 它们是带有循环的...
神经网络的票房预测CNN-RNN-LSTM
03-26
神经网络模型 基于神经网络的票房预测模型的分析和实现 ...需求（pytorch框架）： 1、用不少于3种神经网络构建电影票房预测模型，并在同一个数据集上... 3、对神经网络结构、多个模型比对、训练过程进行可视化 4、特征分析
TPA-LSTM时间序列预测实战案例
11-05
LSTM（长短期记忆，Long Short-Term Memory）是一种用于处理序列数据的深度学习模型，属于循环神经网络（RNN）的一种变体,其使用一种类似于搭桥术结构的RNN单元。相对于普通的RNN，LSTM引入了门控机制，能够更有效地...
双向长短记忆时神经网络源代码BiLSTM.py
03-18
BiLSTM（Bi-directional Long Short-Term Memory）是一种特殊的RNN（循环神经网络）结构，它通过结合前向LSTM（Forward LSTM）和后向LSTM（Backward LSTM）来处理序列数据。BiLSTM模型的核心在于它能够同时...
深度学习基础（六）：LSTM模型及原理介绍 深度学习原理.pdf
04-13
深度学习基础（六）：LSTM模型及原理介绍 深度学习原理.pdf
《Vid2Seq》论文笔记
最新发布
Zssss12的博客
04-22 1063
在这项工作中，我们引入了Vid2Seq，这是一种多模态单阶段密集事件字幕模型，它在大规模可用的叙述视频上进行了预训练，Vid2Seq 架构使用特殊的时间标记(time tokens)增强了语言模型，使其能够同时预测同一输出序列中的事件边界和文本描述。这种统一的模型需要大规模的训练数据，这在当前的注释数据集中是不可用的。我们表明，通过将转录语音的句子边界重新表述为伪事件边界，并使用转录的语音句子作为伪事件字幕，可以利用未标记的叙述视频进行密集视频字幕。
知识图谱的分类
suliuzhen的博客
04-22 324
知识图谱分为通用知识图谱与领域知识图谱两类，两类图谱本质相同，其区别主要体现在覆盖范围与使用方式上。（1）通用知识图谱：通用知识图谱主要强调知识的广度，可以形象地看成一个面向通用领域的结构化的百科知识库，其中包含了大量的现实世界中的常识性知识，覆盖面广，通常运用百科数据进行自底向上（Top-Down）的方法进行构建；
ai智能名片生成器源码系统 一键生成数字名片 打造定制化的商务社交平台
duizhangdaren的博客
04-22 669
在数字化时代，商务交流方式正在发生深刻变革。分享一个ai雷达智能名片生成器源码系统，源码开源可二开，含完整代码包和详细的安装部署搭建教程，让技术小白也能轻松上手，让您一键生成数字名片，打造定制化的商务社交平台。比如：多少人阅读了我们的朋友圈文章，多少人转发了我们文章，访问者在文章停留了多久，甚至具体什么人访问了我们的文章等。比如有多少人访问了名片，什么人访问了名片，访问了多久，第几次访问等等。2. 现有客户留存，人工智能名片系统能帮你发现什么客户很久没有关注你的名片了，那么就可以及时做出客户的留存了。
5 CatBoost模型
qq_28611929的博客
04-19 1173
catboost模型介绍
1. ARIMA 2. SARIMA 3. VAR 4. Auto-ARIMA 5. Auto-SARIMA 6. LSTM 7. GRU 8. RNN 9. CNN 10. MLP 11. DNN 12. MLP-LSTM 13. MLP-GRU 14. MLP-RNN 15. MLP-CNN 16. LSTM-ARIMA 17. LSTM-MLP 18. LSTM-CNN 19. GRU-ARIMA 20. GRU-MLP 21. GRU-CNN 22. RNN-ARIMA 23. RNN-MLP 24. RNN-CNN 25. CNN-ARIMA 26. CNN-MLP 27. CNN-LSTM 28. CNN-GRU 29. ARIMA-SVM 30. SARIMA-SVM 31. VAR-SVM 32. Auto-ARIMA-SVM 33. Auto-SARIMA-SVM 34. LSTM-SVM 35. GRU-SVM 36. RNN-SVM 37. CNN-SVM 38. MLP-SVM 39. LSTM-ARIMA-SVM 40. LSTM-MLP-SVM 41. LSTM-CNN-SVM 42. GRU-ARIMA-SVM 43. GRU-MLP-SVM 44. GRU-CNN-SVM 45. RNN-ARIMA-SVM 46. RNN-MLP-SVM 47. RNN-CNN-SVM 48. CNN-ARIMA-SVM 49. CNN-MLP-SVM 50. CNN-LSTM-SVM 51. CNN-GRU-SVM 52. ARIMA-RF 53. SARIMA-RF 54. VAR-RF 55. Auto-ARIMA-RF 56. Auto-SARIMA-RF 57. LSTM-RF 58. GRU-RF 59. RNN-RF 60. CNN-RF 61. MLP-RF 62. LSTM-ARIMA-RF 63. LSTM-MLP-RF 64. LSTM-CNN-RF 65. GRU-ARIMA-RF 66. GRU-MLP-RF 67. GRU-CNN-RF 68. RNN-ARIMA-RF 69. RNN-MLP-RF 70. RNN-CNN-RF 71. CNN-ARIMA-RF 72. CNN-MLP-RF 73. CNN-LSTM-RF 74. CNN-GRU-RF 75. ARIMA-XGBoost 76. SARIMA-XGBoost 77. VAR-XGBoost 78. Auto-ARIMA-XGBoost 79. Auto-SARIMA-XGBoost 80. LSTM-XGBoost 81. GRU-XGBoost 82. RNN-XGBoost 83. CNN-XGBoost 84. MLP-XGBoost 85. LSTM-ARIMA-XGBoost 86. LSTM-MLP-XGBoost 87. LSTM-CNN-XGBoost 88. GRU-ARIMA-XGBoost 89. GRU-MLP-XGBoost 90. GRU-CNN-XGBoost 91. RNN-ARIMA-XGBoost 92. RNN-MLP-XGBoost 93. RNN-CNN-XGBoost 94. CNN-ARIMA-XGBoost 95. CNN-MLP-XGBoost 96. CNN-LSTM-XGBoost 97. CNN-GRU-XGBoost 98. ARIMA-ANN 99. SARIMA-ANN 100. VAR-ANN 上面这些缩写模型的全称及相关用途功能详细解释
07-15
7. GRU (Gated Recurrent Unit): 一种类似于LSTM的循环神经网络，具有更简化的结构，适用于时间序列数据的建模和预测。 8. RNN (Recurrent Neural Network): 适用于处理序列数据的神经网络模型，能够捕捉时间序列的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值