刘二大人PyTorch深度学习实践-13-RNN Classifier

引用自： 刘二大人 《PyTorch深度学习实践》

传送门： 刘二大人 《PyTorch深度学习实践》

---

传送门2：数据集

---

一、实现功能

$!!!给出一个名字name，找到它对应的语言language/国家country$

共有来自18种语言的names。预测一个name属于哪种语言/国家。

二、模型整体架构

三、亿点点准备知识和实现细节

3.1 Bi-directional GRU/LSTM/RNN

$双向结构的RNN中:$

$最终hidden是由两个方向的第n个hidden拼接而成的$

output, hidden = self.gru(gru_input, hidden)
if self.num_directions == 2:
    hidden_cat = torch.cat([hidden[-1], hidden[-2]], dim = 1) # GRU为双向时，hidden = [前向的第n个hidden, 反向的第n个hidden] 连接
else:
    hidden_cat = hidden[-1] # GRU为单向时，hidden = 前向的第n个hidden

3.2 对输入的name的转置处理

input = input.t()  # 将input shape由BatchSize * SeqLen -> SeqLen * BatchSize

3.3 RNNClassifier类中forward()方法中的embedding

$embedding的shape:(seqLen,batchSize,hiddenSize)$

embedding = self.embedding(input)

3.4 forward()方法中的pack_padded_sequence()方法

$！！！新的重要知识点$
使用前需要from torch.nn.utils.rnn import pack_padded_sequence
返回一个PackedSequence对象
第1个参数的shape:(seqLen, batchSize, hiddenSize)
第2个参数是一个tensor, 它是每个batch element的序列长度的列表

gru_input = pack_padded_sequence(embedding, seq_lengths)