RNN（循环神经网络）

于 2024-05-16 18:18:12 发布
阅读量665 收藏 10
点赞数 11
文章标签： rnn 人工智能 深度学习 python 神经网络 pycharm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63685622/article/details/138789686
版权

目录

在这里插入图片描述

1.RNN简介

RNN(Recurrent Neural Network), 中文称作循环神经网络,它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征,一般也是以序列形式进行输出.
在这里插入图片描述
在这里插入图片描述
RNN的循环机制使模型隐层上一时间步产生的结果,能够作为当下时间步输入的一部分(当下时间步的输入除了正常的输入外还包括上一步的隐层输出)对当下时间步的输出产生影响.

  • 结构：三层，输入、输出、隐藏层（循环在隐藏层）

1.1RNN模型的作用:

因为RNN结构能够很好利用序列之间的关系,因此针对自然界具有连续性的输入序列,如人类的语言,语音等进行很好的处理,广泛应用于NLP领域（自然语言处理）的各项任务,如文本分类,情感分析,意图识别,机器翻译等.

  • 语言处理示例
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

1.2RNN的分类

1.2.1按照输入、输出的结构分类

N vs M：即N个输入，M个输出的RNN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

相当于编码器（左下：N对1）和解码器（右上：1对M）

在这里插入图片描述

1.2.2按照RNN内部构造分类

RNN本身缺点：不可并行计算，故当数据量和模型体量过大会制约其发展；transform可改善其不可并行计算的问题。

在这里插入图片描述

2.传统RNN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
图中,括号内的为全连接层（线性层）
激活函数（tanh）：用于帮助调节流经网络的值, tanh函数将值压缩在-1和1之间.

2.1 Pytorch中传统RNN工具的使用

  • 位置:在torch.nn工具包之中,通过torch.nn.RNN可调用.

在这里插入图片描述
在这里插入图片描述
torch.nn.RNN详解

import torch
import torch.nn as nn

rnn=nn.RNN(5,6,2)#实例化rnn对象
#参数1：输入张量x的维度-input_size
#参数2：隐藏层的维度（隐藏层神经元个数）-hidden_size
#参数3：隐藏层的层数-num_layers

#torch.randn-随机产生正态分布的随机数
input1=torch.randn(1,3,5)#设定输入张量x-1层3行5列
#参数1：输入序列长度-sequence_lengh
#参数2：批次的样本-batch_size（表示：3个样本每个样本一个字母（序列长））
#参数3：输入张量x的维度-input_size

h0=torch.randn(2,3,6)#设定初始化的h0
#第一个参数: num_layers * num_directions(层数+网络方向数(1或2))
#第二个参酸: batch_size(批次的样本数)
#第三个参酸: hidden_size(隐藏层的维度)

output,hn=rnn(input1,h0)
#最后输出和最后一层的隐藏层输出

print(output)
print(output.shape)
print(hn)
print(hn.shape)

在这里插入图片描述

摘录自-循环神经网络 - RNN基本原理详解

2.2传统RNN优缺点

  • 优势：
    由于内部结构简单,对计算资源要求低,相比之后我们要学习的RNN变体:LSTM和GRU模型参数总量少了很多,在短序列任务上性能和效果都表现优异.

  • 缺点:
    传统RNN在解决长序列之间的关联时,通过实践，证明经典RNN表现很差,原因是在进行反向传播的时候,过长的序列导致梯度的计算异常,发生梯度消失或爆炸.
    在这里插入图片描述
    在这里插入图片描述

  • NaN值：(Not a Number,非数)是计算机科学中数值数据类型的一类值,表示未定义或不可表示的值。

3.LSTM模型

3.1 LSTM简介

在这里插入图片描述
在这里插入图片描述

3.1.1 遗忘门

在这里插入图片描述

图中sigma为sigmiod函数，将值压缩在0-1之间。

在这里插入图片描述
在这里插入图片描述

3.1.2 输入门

在这里插入图片描述
在这里插入图片描述

3.1.3 细胞状态

在这里插入图片描述
在这里插入图片描述

3.1.4 输出门

在这里插入图片描述
在这里插入图片描述

3.2Bi-LSTM

在这里插入图片描述
在这里插入图片描述

3.3 Pytorch中LSTM工具的使用

在这里插入图片描述
在这里插入图片描述

import torch
import torch.nn as nn

lstm=nn.LSTM(5,6,2)#实例化rnn对象
#参数1：输入张量x的维度-input_size
#参数2：隐藏层的维度（隐藏层神经元个数）-hidden_size
#参数3：隐藏层的层数-num_layers

input1=torch.randn(1,3,5)#设定输入张量x-1层3行5列
#参数1：输入序列长度-sequence_lengh
#参数2：批次的样本-batch_size（表示：3个样本每个样本一个字母（序列长））
#参数3：输入张量x的维度-input_size

h0=torch.randn(2,3,6)#设定初始化的h0（隐藏层）
c0=torch.randn(2,3,6)#设定初始化的c0（细胞状态）
#第一个参数: num_layers * num_directions(层数+网络方向数(1或2))
#第二个参酸: batch_size(批次的样本数)
#第三个参酸: hidden_size(隐藏层的维度)

output,(hn,cn)=lstm(input1,(h0,c0))
#最后输出和最后一层的隐藏层输出

print(output)
print(output.shape)
print(hn)
print(hn.shape)
print(cn)
print(cn.shape)

在这里插入图片描述

3.4 LSTM优缺点

在这里插入图片描述

4.GRU模型

4.1GRU简介

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2Pytorch中LSTM工具的使用

import torch
import torch.nn as nn

gru=nn.GRU(5,6,2)#实例化rnn对象
#参数1：输入张量x的维度-input_size
#参数2：隐藏层的维度（隐藏层神经元个数）-hidden_size
#参数3：隐藏层的层数-num_layers

input1=torch.randn(1,3,5)#设定输入张量x-1层3行5列
#参数1：输入序列长度-sequence_lengh
#参数2：批次的样本-batch_size（表示：3个样本每个样本一个字母（序列长））
#参数3：输入张量x的维度-input_size

h0=torch.randn(2,3,6)#设定初始化的h0
#第一个参数: num_layers * num_directions(层数+网络方向数(1或2))
#第二个参酸: batch_size(批次的样本数)
#第三个参酸: hidden_size(隐藏层的维度)

output,hn=gru(input1,h0)
#最后输出和最后一层的隐藏层输出

print (output)
print(output.shape)
print(hn)
print(hn.shape)

在这里插入图片描述

4.3GRU优缺点

在这里插入图片描述

5.注意力机制

5.1简介

5.1.1注意力

在这里插入图片描述
在这里插入图片描述

Q：查询向量
K：键向量
V：值向量
常规注意力机制;Q!=K=V；自注意力机制：Q=K=V

在这里插入图片描述

在这里插入图片描述

5.1.2注意力机制

在这里插入图片描述

bmm运算：可实现与应用网络融为一体

在这里插入图片描述

5.1.3 代码实现

在这里插入图片描述

按照上述步骤进行实现：

import torch
import torch.nn as nn
import torch.nn.functional as F

class Attn(nn.Module):
    def __init__(self,query_size,key_size,value_size1,value_size2,output_size):
        # query_size表示Q的最后一个维度大小，key_size表示K的最后一个维度大小
        #value_size1表示V的倒数第二维大小；value_size2表示V的倒数第一维（最后一维）大小
        # V的尺寸表示(1,value_size1,value_size2)
        # output_size表示输出的最后一个维度的大小

        super(Attn, self).__init__()#单继承，即只有一个父类（nn.Module）
        # 对继承自(Attn的父类)父类nn.Module的属性进行初始化。而且是用nn.Module的初始化方法来初始化继承的属性。
        self.query_size=query_size
        self.key_size = key_size
        self.value_size1=value_size1
        self.value_size2=value_size2
        self.output_size=output_size

        # 初始化注意力机制实现中第一步的线性层
        self.attn=nn.Linear(self.query_size+self.key_size,self.value_size1)
        #Linear（x,y）中下x、y分别表示输入和输出的值（包括大小也要一致）

        # 初始化注意力机制实现中第三步的线性层
        self.attn_combine = nn.Linear(self.query_size + self.value_size2, self.output_size)

    def forward(self,Q,K,V):
        #注意：假定Q、K、V都是三维张量
        #按照第一中注意力计算规则进行计算：Softmax(Linear([Q,K])).V
        #第一步，将Q、K进行纵轴的拼接，然后做一次线性变换，最后使用softmax进行处理得到注意力向量
        attn_weights=F.softmax(self.attn(torch.cat((Q[0],K[0]),1)),1)
        #torch.cat((Q[0],K[0]),1))表示：将两者（Q[0]和K[0]）在第一维度上进行拼接
        #self.attn(torch.cat((Q[0],K[0]),1))中将torch.cat((Q[0],K[0])作为线性层的输入
        
        #将注意力矩阵和V进行一次bmm运算（即将权重矩阵与V进行乘法运算）
        #因为二者都是三维张向量且第一维代表batch条数，故而做bmm运算
        attn_applied=torch.bmm(attn_weights.unsqueeze(0),V)
        #attn_weights.unsqueeze(0)表示：将attn_weights扩充维度（在第0层）；原本为1*32->1*1*32

        #第二步，根据第一步采用的计算方法（拼接或转置点积），
        # 此处第一步用拼接方法，需要将Q与上一步计算结果拼接
        #取Q[0]进行降维，与上面得运算结果进行一次拼接
        output=torch.cat((Q[0],attn_applied[0]),1)

        #第三步：将上面的输出进行一次线性变换，然后在扩展成三维张量
        output=self.attn_combine(output).unsqueeze(0)
        return output,attn_weights

#调用实现：
query_size=32
key_size=32
value_size1=32
value_size2=64
output_size=64

attn=Attn(query_size,key_size,value_size1,value_size2,output_size)
Q=torch.randn(1,1,32)
K=torch.randn(1,1,32)
V=torch.randn(1,32,64)
output=attn(Q,K,V)

print(output[0])
print(output[0].size())
print(output[1])  #注意力权重
print(output[1].size())

在这里插入图片描述
对forward函数进行考察：

 print('catshape==',torch.cat((Q[0],K[0]),1).shape)
 print('attnshape==',self.attn(torch.cat((Q[0],K[0]),1)).shape)
 print('attn_weights==',attn_weights.shape)#权重矩阵

 print('attn_applied==',attn_applied.shape)
 print('outputshape==',output.shape)
 print(output[0].size())
 print(output[1].size())

在这里插入图片描述

分析：
Q、K的第0层（都是132）进行纵轴拼接，输出164；
拼接后的结果经线性层后（此处线性层输入要求32+32=64，正好符合）输出132；
再经softmax后还是132；
权重矩阵经扩维后变为1132，与V（13264）进行bmm计算，输出1164；
之后其第0层（164）与Q0进行纵轴拼接，输出196；
再经线性层输出out_size尺寸，即164，再扩维成11*64

注：参考资料

木子.李347
关注
  • 11
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
RNN
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
RNN神经网络
weixin_43391596的博客
11-26 1301
RNN神经网络---学习笔记
简述循环神经网络（RNN）
m0_61789994的博客
02-11 4263
循环神经网络（RNN）是一种能够处理序列数据的神经网络。它的主要特点是在网络内部引入循环结构，可以对序列数据中的时间依赖关系进行建模。RNN 的训练过程中，需要使用反向传播算法进行梯度下降。RNN 的主要应用领域是自然语言处理、语音识别、时间序列预测、机器翻译等。虽然 RNN 具有处理序列数据的优势，但是在处理长序列数据、训练过程中出现的梯度问题以及内存容量的限制等方面也存在着一些缺点。
神经网络——循环神经网络（RNN）
Krisit的博客
02-19 9504
讲述了循环神经网络的原理以及在MATLAB中的实际运用
【RNN】深入浅出讲解循环神经网络（介绍、原理）
程序星空实验室
05-31 4万+
1、RNN的背景 前馈神经网络不考虑数据之间的关联性，网络的输出只和当前时刻网络的输入相关。然而在解决很多实际问题的时候我们发现，现实问题中存在着很多序列型的数据（文本、语音以及视频等），现实场景如室外的温度是随着气候的变化而周期性的变化的，以及我们的语言也需要通过上下文的关系来确认所表达的含义。 这些序列型的数据往往都是具有时序上的关联性的，既某一时刻网络的输出除了与当前时刻的输入相关之外，还与之前某一时刻或某几个时刻的输出相关。而前馈神经网络并不能处理好这种关联性，因...
基于MATLAB的RNN循环神经网络训练仿真+代码操作视频
06-06
1.领域：matlab，RNN循环神经网络算法 2.内容：基于MATLAB的RNN循环神经网络训练仿真+代码操作视频 3.用处：用于RNN循环神经网络算法编程学习 4.指向人群：本硕博等教研学习使用 5.运行注意事项： 使用matlab...
简单理解RNN循环神经网络
01-06
简单理解RNN循环神经网络RNN(Recurrent Neural Network）介绍图说RNN宏观结构图说RNN微观结构 RNN(Recurrent Neural Network）介绍 介绍： RNN，也就是循环神经网络，是用来建模序列化数据的一种主流的深度学习模型...
循环神经网络RNN的ppt
06-08
循环神经网络RNN的ppt
基于matlab的RNN循环神经网络训练和数据预测仿真+代码仿真操作视频
06-15
1.领域：matlab，RNN循环神经网络训练 2.内容：基于matlab的RNN循环神经网络训练和数据预测仿真+代码仿真操作视频 3.用处：用于RNN循环神经网络训练算法编程学习 4.指向人群：本硕博等教研学习使用 5.运行注意...
RNN循环神经网络代码
最新发布
02-28
RNN循环神经网络代码
rnn循环神经网络基本原理
m0_46926492的博客
01-17 4146
的提出是基于记忆模型的想法，期望网络能够记住前面出现的特征，并依据特征推断后面的结果，而且整体的网络结构不断循环，因为得名就在于拥有一个环路（或回路）。，一般以序列数据为输入，通过设计有效捕捉序列之前的关系特征，一般也是以序列形式进行输出的基本结构特别简单，就是将网络的输出保存在一 个中，这个元和下一 次的输入一起进入中 。输入序列的顺序改变，会改变网络的输出结果使模型隐层上一时间步骤产生的结果hth_tht​，能够作为下一时间步输入的一部分ht=fW(ht−1,xt)=tanh(Whht−1+Wxxt)y
一文详解什么是RNN（循环神经网络）
Machine Learning with Tutors
04-25 5万+
如图所示，你会发现每个cell都会有一个损失，我们已经定义好了损失函数，接下来就是熟悉的一步了，那就是根据损失函数利用SGD来求解最优参数，在CNN中使用反向传播BP算法来求解最优参数，但在RNN就要用到BPTT，它和BP算法的本质区别，也是CNN和RNN的本质区别：CNN没有记忆功能，它的输出仅依赖与输入，但RNN有记忆功能，它的输出不仅依赖与当前输入，还依赖与当前的记忆。在图像处理中，目前做的最好的是CNN，而自然语言处理中，表现比较好的是RNN，因此，我们能否把他们结合起来，一起用呢？
深度学习-神经网络-循环神经网络（一）：RNN（Recurrent Neural Network，循环神经网络；1990年）
u013250861的博客
07-21 9638
为什么有了神经网络还需要有循环神经网络？在普通的神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。特别是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。此外，普通网络难以处理时序数据，比如视频、语音、文本等，时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。循环神经网络（Recurrent Neural Net
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
ADwenwen的博客
08-07 4623
深度学习笔记（四）——循环神经网络（Recurrent Neural Network, RNN）
循环神经网络(RNN)的原理及实现
AI_ayuan的博客
03-20 2139
在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中，神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数，每次输入都是独立的，即网络的输出只依赖于当前的输入。但是在很多现实任务中，网络的输入不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。比如一个有限状态自动机，其下一个时刻的状态（输出）不仅仅和当前输入相关，也和当前状态（上一个时刻的输出）相关。此外，前馈网络难以处理时序数据，比如视频、语音、文本等。
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 52万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
循环神经网络RNN
花有重开日，人无再少年
02-17 4548
RNN（Recurrent Neural Network）循环神经网络。 类比血液在体内循环，从过去一直被更新到现在。 RNN具有环路。这个环路可以使数据不断循环。通过数据的循环，RNN一边记住过去的数据，一边更新到最新的数据。 RNN层的循环结构 RNN层的循环结构和它的展开如下图所示。下面的多个RNN层都是同一个层；输出分叉了，也就是说同一个输出被复制了，其中的一个输出将成为自身的输入。 xt是t时刻的输入数据，输入t时刻的RNN层。各个时刻的RNN层接收t时刻的输入数据和前一个RNN层的输出数据。
循环神经网络（RNN）入门
二师兄
04-17 1万+
之前学习了卷积神经网络（CNN），在这里再简单介绍一下卷积神经网络的原理。一个典型的卷积神经网络为：输入 -> 卷积 -> RelU -> 池化 -> RelU -> 卷积 -> ... -> 池化 -> 全连接层 -> 输出对于CNN来说，并不是所有上下层神经元都能直接相连，而是通过“卷积核”作为中介。而通过max pooling等操作可以进...
RNN 循环神经网络
09-09
RNN（循环神经网络）是一类用于处理序列数据的神经网络。序列数据是指一系列的数据，其中前后的输入数据是有关联的，前面的数据特征可能会影响后面的数据。相比于其他神经网络如CNN（卷积神经网络）只能接受独立的输入，RNN能够处理序列的输入，并发现前后输入的关系。RNN具有记忆特性，这是它与CNN等网络的本质区别。RNN的网络结构具有两个特点： 双向RNN是RNN网络的一种变种，它考虑了序列数据中后面的数据对前面的数据的影响。双向RNN通过增加一个逆序传递信息的隐藏层来更灵活地处理信息。双向RNN的网络结构看起来像是两个RNN网络重叠在一起。 RNN循环神经网络在matlab中有广泛的应用。它可以被用于编程学习，并且有许多基于MATLAB的RNN循环神经网络训练仿真代码和操作视频可供学习使用。这些资源适用于本科、硕士、博士等教学和研究学习。在使用MATLAB进行RNN循环神经网络算法编程时，需要注意一些运行细节。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值