pytorch深度学习实践-循环神经网络0113

B站 刘二大人：循环神经网络（基础篇）

目录

1、RNN概念

2、numLayers含义

3、RNN使用

4、利用RNN Cell训练hello转换到ohlol

5、Embedding编码方式

---

1、RNN概念

        RNN Cell是线性层。

         隐层是RNN Cell里线性层矩阵w的行数。

         使用RNN Cell:

import torch

batch_size = 1   # 批处理大小
seq_len = 3      # 序列长度
input_size = 4   # 输入维度
hidden_size = 2  # 隐层维度

cell = torch.nn.RNNCell(input_size=input_size, hidden_size=hidden_size)  # 初始化

# (seq, batch, features)
dataset = torch.randn(seq_len, batch_size, input_size)
hidden = torch.zeros(batch_size, hidden_size)

# 这个循环就是处理seq_len长度的数据
for idx, data in enumerate(dataset):
    print('=' * 20, idx, '=' * 20)
    print('Input size:', data.shape, data)

    hidden = cell(data, hidden)

    print('hidden size:', hidden.shape, hidden)
    print(hidden)

2、numLayers含义