Pytorch深度学习实践 第十二讲 循环神经网络（基础篇）

循环神经网络RNN：用来处理有序列关系的输入，比如预测天气时，今天的天气要依赖于上一天的天气数据，多用于天气、股票、自然语言处理等。

RNN Cell结构

所有的RNN Cell是同一个Linear模块，只不过是循环使用它对不同的输入序列来进行计算和更新权重，循环次数就是序列长度：

初始化H0=0，是个向量

for Xi in X:

     Hi = Linear(Xi, Hi-1)

 

 torch.nn.RNNCell()模块

seqLen是序列长度，即x1~x3

inputSize是每个x的特征维度

hiddenSize是隐层维度，即得到的的维度

 示例代码：

import torch
"需要:初始化h0,输入序列"
batch_size = 1
input_size = 4
hidden_size = 2
seq_len = 3

cell = torch.nn.RNNCell(input_size=input_size, hidden_size =  hidden_size)

dataset = torch.randn(seq_len,batch_size,input_size) #构造输入序列
hidden = torch.zeros(batch_size, hidden_size) #构造全是0的隐层,即初始化h0

for idex,input in enumerate(dataset):
    print('='*20, idex, '='*20)
    print('Input size:',input.shape)
    hidden = cell(input,hidden)
    print('outputs size:',hidden.shape)
    print('hidden:', hidden)

输出：

==================== 0 ====================
Input size: torch.Size([1, 4])
outputs size: torch.Size([1, 2])
hidden: tensor([[ 0.9321, -0.8409]], grad_fn=<TanhBackward>)
==================== 1 ====================
Input size: torch.Size([1, 4])
outputs size: torch.Size([1, 2])
hidden: tensor([[-0.5605, -0.9525]], grad_fn=<TanhBackward>)
==================== 2 ====================
Input size: torch.Size([1, 4])
outputs size: torch.Size([1, 2])
hidden: tensor([[ 0.7112, -0.0875]], grad_fn=<TanhBackward>)

 torch.nn.RNN()模块