RNN浅析

最新推荐文章于 2024-06-26 19:42:33 发布
最新推荐文章于 2024-06-26 19:42:33 发布
阅读量1.8k 收藏 4
点赞数
分类专栏： 深度学习

来源：http://blog.csdn.net/leochen1983/article/details/64133814

参考资料

  • A Critical Review of Recurrent Neural Networks for Sequence Learning （2015年的一篇综述性文章）

  • Long Short-Term Memory in RNN （Felix Alexander Gers大牛的博士论文）

  • Supervised sequence labelling with recurrent neural network （Alex Graves大牛的springer出版物）

  • Deep Learning（Yoshua Bengio大神的基础教程）

目录

  • 一、简述

  • 二、RNN基础算法

  • 三、LSTM以及LSTM的变种

一、简述

循环神经网络（Recurrent neural networks，简称RNN）是一种通过隐藏层节点周期性的连接，来捕捉序列化数据中动态信息的神经网络，可以对序列化的数据进行分类。和其他前向神经网络不同，RNN可以保存一种上下文的状态，甚至能够在任意长的上下文窗口中存储、学习、表达相关信息，而且不再局限于传统神经网络在空间上的边界，可以在时间序列上有延拓，直观上讲，就是本时间的隐藏层和下一时刻的隐藏层之间的节点间有边。RNN广泛应用在和序列有关的场景，如如一帧帧图像组成的视频，一个个片段组成的音频，和一个个词汇组成的句子。尽管RNN有一些传统的缺点，如难以训练，参数较多，但近些年来关于网络结构、优化手段和并行计算的深入研究使得大规模学习算法成为可能，尤其是LSTM与BRNN算法的成熟，使得图像标注、手写识别、机器翻译等应用取得了突破性进展。 

最简单的RNN（fold状态和unfold状态）




04.png

注意：输入层、隐藏层、输出层的比例不一定是1：1：1,(fold状态和unfold状态)


04.png

注意：输入层、隐藏层、输出层的比例不一定是1：1：1,(fold状态和unfold状态)


1. WHY——关于序列化（sequentiality）的几个问题

1.为什么需要进行显式表达序列模型？

传统的机器学习方法，如SVM、logistics回归和前向神经网络都没有将时间进行显式模型化，用这些方法建模而得出的好的实验结果都是基于独立性假设的前提。还有一些模型将本节点和时间上的前驱节点与后继节点相连接，通过上下文的滑动窗口来将时间隐式模型化，例如深度置信网络DBN。尽管独立性假设非常有用，但是这些模型排除了长时依赖（long-range dependencies）的实际情况。比如用时间窗口大小为5进行训练的模型无法回答需要6个时间输入的问题。人机对话系统、现代交互系统都需要将序列化模型或时间模型显式表达，否则任何分类器或回归器都是无法组合起来解决这种问题的。

2.为什么不用Markov模型？

RNN并非唯一一个将时间依赖显式表达的模型，Markov链也包含时间信息（或说是观测序列），但它有一定局限性。首先，离散状态空间必须是有限尺寸，而不是无限，因为动态规划算法在运算复杂度上是状态空间尺寸的平方；其次，转移表的大小（两个任意时间点的状态转移轨迹概率）也是状态空间尺寸的平方，如果隐藏状态数量较大，运算复杂度呈平方数增长；最后，隐藏状态仅依赖此刻的上一个状态，而不是多个前次的状态，即便可以设定窗口来与多个先前状态建立关系，但状态空间的增长随窗口的大小成指数性增长，使得长时依赖（long-range dependencies）的建模计算变得不切实际。

相比之下全连接的ANN模型没有上述问题，首先RNN可以捕捉长时依赖信息，和Markov链相比传统RNN的一个状态依赖于当前输入和上一个时间步骤的网络状态，隐藏层包含任何时间点的网络状态信息，几乎相当于任意长度的时间上下文。而且不同状态的数量可以随隐藏层的节点数增长而指数增长，即便每个节点仅能2值表示，N个隐藏层节点也可表示2的N次幂个状态，若节点是实数则表达的不同状态的数量更多。所以说潜在的表达能力随着节点数的增长而指数的增长，推演和训练的复杂度也成二次方增长

3.RNN是否非常有表现力？

有限尺寸的RNN和非线性激活函数可以组建大量的模型，几乎可以拟合任意函数，甚至是通用图灵机。Hava T. Siegelmann and Eduardo D. Sontag. Turing computability with neural nets. Applied Mathematics Letters, 4(6):77-80, 1991.体现了强大的计算表现力，虽然C语言几乎可以编写任何程序，也有很强大的表现力。但实际上C语言并非机器学习的灵丹妙药，其中一个原因就是C语言开发并不容易并不高效，比如没有一个C语言实现的通用方法来求损失函数的梯度。此外给定一个有限数据集，有很多程序可以过耦合去生成想要的训练结果，但是却无法生成test例子。 
为什么RNN没有上述问题呢，首先，即便架构确定好，即节点数、边界与激活函数固定，RNN也会体现出端到端的不同，损失函数可以对任意权值进行求导，使得RNN可以进行基于梯度的训练；其次，RNN一大特性就是图灵完全，C语言程序无法通过复制来生成出任意程序；最后，不同于C语言编写的程序，RNN可以通过标准手段进行正则化如weight decay、dropout、阶数限制等避免过饱和。

2. HOW——关于序列化方式，即如何给序列进行标签化（sequence labeling）的问题

对序列进行标签化（sequence labeling）是RNN比较关键的问题，如语音识别、手写识别的边界标记，以及非时域上的蛋白质结构预测。对于给定输入的标签边界划分应该是由学习算法来确定的，这是算法的一个难点因为有些场景不能通过手动或自动化的预处理过程事先确定边界，而又有些场景我们只关系输出的标签的序列，边界似乎并不重要，标签并不一定非常精确的出现在发生的时间点上或输入的边界上。

如下图所示，sequence分类输入是一个片段，输出是一个标签，它是segment分类的一种特殊情况；segment分类输入是有边界且边界位置任意的序列，输出是有边界且边界位置任意的序列，它是segment分类的一种特殊情况，属于strongly labelled；temporal分类输入是无边界的序列，输出是有边界且边界位置任意的序列，属于weaklly labelled，

1.png

sequence分类:该分类中固定长度输入，单个的输入向量，如MNIST。对于输入数据旋转变换的不变性，可用multidimensional recurrent neural networks去解决。sequence分类错误率表示如下

2.png

segment分类:输入是离散可分割的，输出也是一个序列，有多个标签，例如NLP，上下文信息是至关重要的，对于边界不清晰的可以用时间窗口，错误率用汉明矩来表示。在语音识别中，音频帧作为一个segment，在图像处理中，一块区域内的像素点为一个segment。segment分类错误率表示如下

3.png

temporal分类:除了label序列的长度小于输入序列之外，没有任何其他假定，segment分类起码会通过算法来决定输入序列从哪儿开始到哪儿结束，而temporal分类则没有，这就需要显式或隐式模型来掌握的全局结构。temporal分类错误率如下

4.png

此外,根据输入输出的序列关系，RNN可以表达如下几种结构（全部是unfold状态）：

1.jpeg

(1)非RNN (2) 一对多 (图像标注，输入是图像，输出是多个词汇组成的句子). (3) 多对一 (语句情感分析，输入是一句话，输出是正负情感判断). (4) 多对多 (机器翻译). (5) 同步多对多 (视频分类，输入是视频帧，输出是一些标签）

04.png

注意：输入层、隐藏层、输出层的比例不一定是1：1：1,(fold状态和unfold状态)


二、RNN基础算法

首先提出RNN的是Hopfiled，文章为 
*John J. Hopfeld. Neural networks and physical systems with emergent collective 
computational abilities. Proceedings of the National Academy of Sciences, 79 
(8):2554-2558, 1982.* 
前向网络结构是Boltzmann machines和auto-encoders

第一次提出对sequences进行监督学习的是Jordan，该结构有两个突出的特点 
(1). 输出节点对隐藏节点也有反馈；(2). 隐藏层节点有self-connected，文章为Michael I. Jordan. Serial order: A parallel distributed processing approach.Technical Report 8604, Institute for Cognitive Science, University of California,San Diego, 1986. 
Elman简化了这种结构，输出节点不再直接对隐藏节点做反馈，名称也有了变化，对于fold状态的隐藏节点单元称为”context node”替换了”state node”。该种结构是下一节LSTM等算法的基础，文章为Jerey L. Elman. Finding structure in time. Cognitive science, 14(2):179-211,1990.

学习过程被认为是NP完全的，难点尤其是在长距离的依赖上，而在反向多次求导的过程中还会出现梯度消失或梯度暴增的现象，研究者们认为必须对参数进行正则化，并限制权值的范围来避免梯度变化过快的问题。主流参数训练的方法是通过穿越时间的反向求导来实现的，称为（backpropagation through time，BPTT）算法，文章为Paul J. Werbos. Backpropagation through time: what it does and how to do it.Proceedings of the IEEE, 78(10):1550-1560, 1990. Williams和Zipser在此基础上做了改进，提出了TBPTT算法，该算法可以减轻梯度暴增的问题，而LSTM算法彻底解决了梯度消失的问题，具体会在下一节做详细的阐述。 
局部最优的问题是有效训练最大的障碍，而且是无法通过修改网络架构来解决的，即便是单层隐藏层前向网络也是NP问题，最近的经验和理论研究表明 
这种问题一次性解决并不是很重要。许多极值点在大规模神经网络的误差表面上，局部最小值的鞍点比率随着网络的增大指数性的增长，算法可以被设计成尽量去避开鞍点。 
前向算法

8.png

后向算法

9.png

此外，还有一种Hessian-free truncated的牛顿方法，牛顿方法要计算Hessian矩阵，对于大规模的网络来说参数非常多，而该算法仅仅估计Hessian矩阵，即便如此相对于SGD还是很耗费计算量，但是的确能够弥补SGD的部分不足。

三、LSTM以及LSTM的变种

LSTM

正如上一节所述，RNN面临的第一大问题即是对长跨度时间可能会有梯度消失或爆发的问题的问题，

21.png

BPTT（Back propgation through time)中从t+1到t时刻的误差信号计算如下

11.png

12.png

从t时刻的u节点到t-q时刻的v节点的误差传递信号为

13.png

把连乘展开

14.png

把连乘的用T来表示

15.png

结果对T求和的次数是n的q-1次幂，即n的q-1次幂个T，每个T需要q次下面的乘法

16.png

如果上式> 1, 误差就会随着q的增大而呈指数增长，那么网络的参数更新会引起非常大的震荡。 
如果上式< 1， 误差就会消失，导致学习无效，一般激活函数用sigmoid函数，它的倒数最大值是0.25, 权值最大值要小于4才能保证不会小于1。 
误差呈指数增长的现象比较少，误差消失在BPTT中很常见。

以上的推导过程，参考了Sepp Hochreiter. “The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions..” International Journal of Uncertainty Fuzziness and Knowledge-Based Systems 6.2(1998):107-116..

于是诞生了long short term memory network的方法 LSTM Sepp Hochreiter and Jurgen Schmidhuber. Long short-term memory. Neural Computation, 9(8):1735-1780, 1997.和Gustavsson, Anders, et al. “On the difficulty of training Recurrent Neural Networks.” Indian Journal of Microbiology 52.3(2012):337-345.

长时记忆：对于权重（weights）来说，在训练过程中变化比较缓慢 
短时记忆：对于激活函数（activation）来说，从一个节点到另一个节点是短暂的 
LSTM利用cell来存储一些值，并可控制其输入、遗忘和输出 
cell是用来替换node的

在Alex大神的描述下，cell结构如下：

22.png

细胞自己有状态，并能通过内部更新的方式更改自己的状态，而门（gate）解雇来对细胞状态增加或者删除信息，门分为输入门、输出门和遗忘门

unfold如下：

23.png

梯度变化情况表示：

24.png

但上个图比较抽象，并且符号使用也比较混乱 
colah’s blog的图更为直观 
注意符号含义对照：

将隐藏层中的节点放大来看（目前设定每个时间t的隐藏层仅一个节点A），输入输出都是向量

31.png

将内部透明化来看如下图，其中粉色节点是point-wise（即element-wise）

32.png

细胞的状态在节点中发生改变，并将改变传递给下一时刻的该层，这种变化是通过point-wise的乘性操作和加性操作来完成的，这个图在Alex的fold图中表现的比较混乱

33.png

遗忘门决定细胞中遗弃何种信息，1为保留，0为遗忘

34.png

细胞存储何种信息由两部分决定，输入门的结果（sigmoid）以及新的候选向量（tanh）

35.png

细胞更新如下

36.png

细胞输出如下

37.png

LSTM 变种
1.peephole变体

在所有门上加了peephole

38.png

前向算法：

25.png

后向算法：

26.png

具体内容详见Gers, Felix A., and J. Schmidhuber. “Recurrent Nets that Time and Count.” Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN’00)-Volume 3 - Volume 3 IEEE Computer Society, 2000:3189.

2.配对遗忘与输入门

该算法将决定遗忘和添加信息两个过程进行了归并，即输入新的内容一定会忘记旧的内容，从而简化了算法

39.png

3. Gated Recurrent Unit

该算法将输入门和遗忘门结合成了更新门，并且合并了细胞状态和隐含状态，在不减少功能的同时简化了算法

40.png

具体内容详见Cho, Kyunghyun, et al. “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation.” Eprint Arxiv (2014).

4. 其他

此外还有Depth-Gated Recurrent Neural Networks、A Clockwork RNN等变种，LSTM: A Search Space Odyssey、An Empirical Exploration of Recurrent Network Architectures对变种做了比较。

04.png

注意：输入层、隐藏层、输出层的比例不一定是1：1：1,(fold状态和unfold状态)

sinat_32279627
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RNN浅析（上）
LeoChen1983的专栏
03-20 3万+
A Survey on Recurrent Neural Network
ChatGPT原理浅析
04-21
ChatGPT核心是基于RNN、LSTM、Attention、Transformer模型演进发展而来的，通过自监督学习(SSL, Self Supervised Learning)预训练、监督学习优调(Fine Tuning)、强化学习实现非监督学习训练的自然语言处理的大语言...
RNN 浅析
晓野豬
09-17 3508
循环神经网络 (Recurrent Neural Network, RNN) 是一种特殊的神经网路结构，用于处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于时间序列问题却无能无力 (如预测句子的下一个单词)。RNN 之所以称为循环神经网路，其本身包含循环的网络，允许信息在层内神经元之间传递，能够捕捉序列间的时序信息。
一文读懂循环神经网络(RNN)
lbr15660656263的博客
06-26 1111
循环神经网络（Recurrent Netural Network,Rnn)是一类具有短期记忆能力的神经网络。在RNN中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构，RNN由此得名。循环神经网络已经被广泛应用在语音识别、语言翻译以及图片描述等任务上。为了处理时序数据并利用其历史信息，我们需要让网络具有短期记忆能力。而前馈网络是一种静态网络，不具备这种记忆能力。RNN基本结构如下：
「模型解读」浅析RNN到LSTM
喜欢打酱油的老鸟
07-11 596
https://www.toutiao.com/a6711704602531594764/ 卷积神经网络使用固定大小的矩阵作为输入（比如一张图片），然后输出一个固定大小的向量（比如不同分类的概率），适合于图像分类，目标检测，图像分割等。但是除了图像外，还有非常多的信息是非固定长度或者大小的，比如视频，语音，此时更加适合用来处理这些时序信号的网络就是一些时间序列模型。 常见的时间序列模型包...
RNN与LSTM原理浅析
君子不怨的小梦想
06-08 6581
一、写在前面 由于学业繁忙，突然发现近四个月没更新博客了，于是将前几天讲课的PPT做了简单整理，水一篇博客。本文主要做一些RNN及LSTM的简介而非深入讲解，文中部分LSTM通用结构图及通用公式来源于网络，此处不一一列举，感谢图片的原创博主提供的支持！ 二、RNN 2.1什么是RNN RNN的全称为Recurrent Neural Network, 即“循环神经网络”，是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的...
浅析RNN到LSTM
oyjwin的博客
06-02 42
https://zhuanlan.zhihu.com/p/55949716
RNN介绍，较易懂
热门推荐
xiaocao9903的专栏
11-20 3万+
Recurrent Neural Networks 人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。 传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分
RNN/LSTM记录
TTTree_的博客
11-07 287
记录一些RNN/LSTM看过的不错的文章。 LSTM结构详解 循环神经网络（RNN）浅析
浅析循环神经网络
宵练丶的博客
05-15 1367
浅析RNN，LSTM，GRU
浅析卷积神经网络RNN (Convolutional Neural Networks)
小松鼠举栗子
05-15 935
人工智能之父 第一个提出并实现人工神经网络, 人工智能之父MarvinMinsky, 他在1970年说道: "3~8年内,机器可以获得跟人类同等智商的人工智能." 也许最大的阻碍是受限于计算机的性能. 距1970年, 过去快五十年了, 计算机性能提升了无数倍, 人工智能诞生了N个模型, 经历了N次繁荣, 每次都陷入寒冬. 这个目标到目前还没实现. 不过, 他创立的人工神经网络的仍然是目前最先进的理论模型. 人是怎么预测事情的发生概率? 人预测某件事情发生的概率, 往往都是凭经验...
CHATGPT 原理浅析.rar
04-15
**CHATGPT原理浅析** **一、简介** CHATGPT是OpenAI公司推出的一款基于人工智能技术的语言模型，全称为“Chat-based Generative Pre-trained Transformer”。这个系统以其强大的对话理解和生成能力，引领了自然...
聊天机器人技术浅析.docx
11-30
【聊天机器人技术浅析】 聊天机器人是一种人工智能技术，利用自然语言处理和深度学习技术，模拟人类对话，提供个性化和互动性的服务。随着大数据和计算能力的提升，聊天机器人已经成为人机交互的重要方式，尤其在智...
图神经网络浅析.pdf
09-25
在传统的神经网络中，如卷积神经网络（CNN）和循环神经网络（RNN），数据通常是结构化的，例如图像的像素网格或时间序列数据。然而，当数据以图形的形式存在，节点代表对象，边代表对象之间的关系时，这些网络就显得...
ChatGPT原理分析，ChatGPT原理浅析，ChatGPT原理
04-17
ChatGPT核心是基于RNN、LSTM、Attention、Transformer模型演进发展而来的，通过自监督学习(SSL, Self Supervised Learning)预训练、监督学习优调(Fine Tuning)、强化学习实现非监督学习训练的自然语言处理的大语言...
mpu6050陀螺仪使用方法开发教程文档.docx
最新发布
07-30
mpu6050陀螺仪使用方法
【SCI顶级】龙格库塔算法RUN-CNN-LSTM-Multihead-Attention温度预测【含源码 5747期】.zip
07-30
CSDN海神之光上传的全部代码均可运行，亲测可用，直接替换数据即可，适合小白； 1、代码压缩包内容 主函数：Main .m； 数据； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，可私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开除Main.m的其他m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博主博客文章底部QQ名片； 4.1 CSDN博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作 智能优化算法-CNN-LSTM-Mutilhead-Attention回归预测系列程序定制或科研合作方向： 4.4.1 遗传算法GA/蚁群算法ACO-CNN-LSTM-Mutilhead-Attention回归预测 4.4.2 粒子群算法PSO/蛙跳算法SFLA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.3 灰狼算法GWO/狼群算法WPA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.4 鲸鱼算法WOA/麻雀算法SSA-CNN-LSTM-Mutilhead-Attention回归预测 4.4.5 萤火虫算法FA/差分算法DE-CNN-LSTM-Mutilhead-Attention回归预测
大模型的数学之魂：统计学习理论精要
07-30
大型机器学习模型，通常简称为“大模型”，是指具有数十亿甚至数千亿参数的深度神经网络模型。这些模型因为其庞大的参数量和复杂的计算结构，能够处理非常复杂的任务和数据，展现出强大的表达能力和预测性能。大模型在自然语言处理、计算机视觉、语音识别和推荐系统等多个领域都有广泛的应用。 大模型的设计目的是通过训练海量数据来学习复杂的模式和特征，从而具备强大的泛化能力，能够对未见过的数据做出准确的预测。与参数较少、层数较浅的小模型相比，大模型虽然需要更多的计算资源和时间来训练和推理，但它们展现出了一种被称为“涌现能力”的特性，即从原始训练数据中自动学习并发现新的、更高层次的特征和模式。 大模型的发展历程可以分为几个阶段，从早期的卷积神经网络模型发展到以Transformer为代表的全新神经网络模型，再到当前以GPT为代表的预训练大模型阶段。Transformer架构因其自注意力机制而成为大模型的核心技术，它使得模型能够更好地理解和处理文本数据中的长距离依赖关系。 大模型的分类主要包括语言大模型（NLP）、视觉大模型（CV）和多模态大模型。语言大模型专注于处理文本数据和理解自然语言，而视觉大模型用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值