1.2 传统RNN模型

最新推荐文章于 2024-08-29 22:34:45 发布

xiao52x

最新推荐文章于 2024-08-29 22:34:45 发布

阅读量455

点赞数

文章标签： rnn 深度学习神经网络

本文链接：https://blog.csdn.net/weixin_44953928/article/details/125831096

版权

这篇博客详细解析了传统RNN（循环神经网络）的内部结构，介绍了输入如何与上一时间步的隐层输出结合，并通过全连接层与激活函数（如tanh）共同作用产生当前时间步的输出。通过实例展示了PyTorch中RNN模块的使用，包括输入张量和初始化隐藏状态的设置，以及输出和隐藏状态的获取。

摘要由CSDN通过智能技术生成

传统RNN的内部结构图
在这里插入图片描述

内部结构分析:

我们把目光集中在中间的方块部分, 它的输入有两部分, 分别是h(t-1)以及x(t), 代表上一时间步的隐层输出, 以及此时间步的输入, 它们进入RNN结构体后, 会"融合"到一起, 这种融合我们根据结构解释可知, 是将二者进行拼接, 形成新的张量[x(t), h(t-1)], 之后这个新的张量将通过一个全连接层(线性层), 该层使用tanh作为激活函数, 最终得到该时间步的输出h(t), 它将作为下一个时间步的输入和x(t+1)一起进入结构体. 以此类推.

内部结构过程演示:
在这里插入图片描述

# 导入工具包
import torch
import torch.nn as nn

#实例化rnnr对象
#第一个参数: input_size(输入张量x的维度)
#第二个参数: hidden_size(隐藏层的维度，隐藏层神经元数量)
#第三个参数: num layers(隐藏层的层数)
rnn = nn.RNN(5, 6, 1)

#设定输入的张量x
#第一个参数: sequence_length(输入序列的长度)
#第二个参数: batch_size(批次的样本数)
#第三个参数: input_size(输入张量x的维度)
input1 = torch.randn(1, 3, 5)

#设定初始化的h0
#第一个参数: num_layers * num_directions(层数*网络方向数)
#第二个参数: batch.size(批次的样本数)
#第三个参数: hidde size(隐藏层的维度)
h0 = torch.randn(1, 3, 6)

# 输入张量放入RNN中，得到输出结果
output,hn=rnn(input1,h0)