RNN模型的应用（基于Pytorch）

RNN——擅长处理sequence of data
[words,word_vec]
word_vec:

1. one hot 稀疏，高维
   [5,3500]由5个单词组成的句子，词典中有3500个单词，用3500维度的向量表示一个单词
2. word2vec/glove 语义信息

Batch
[word_num,b,word_vec]
[b,word_num,word_vec]

RNN基本原理

h存放语境信息，Ht和Xt，Ht-1相关

RNN-layer

nn.RNN

x [seq_len,b,word_vec]
h [b,hdim]

• 初始化：
  nn.RNN(input_size, hidden_size,num_layers)

1. input_size 对应x向量的word_vec
2. hidden_size memory size h向量的hdim
3. num_layers 不使用 默认为1，可以时1/2/4…

• out,ht = forward(x,h0)

1. x :[seq_len,b,word_vec]
2. h0/ht:[num_layers,b,hdim]
3. out:[seq_len,b,hdim] 所有h聚合

nn.RNNCell 单独喂数据

• 初始化
  nn.RNNCell(input_size, hidden_size,num_layers)

1. input_size 对应x向量的word_vec
2. hidden_size memory size h向量的hdim
3. num_layers 不使用 默认为1，可以时1/2/4…

• ht = rnncell(xt,ht_1)
  xt: [b,word_vec]
  ht_1/ht: [num_layers,b,hdim]
  out = torch.stack([h1,h2,…,ht])