RNN模型的应用（基于Pytorch）

RNN——擅长处理sequence of data
[words,word_vec]
word_vec:

1. one hot 稀疏，高维
   [5,3500]由5个单词组成的句子，词典中有3500个单词，用3500维度的向量表示一个单词
2. word2vec/glove 语义信息

Batch
[word_num,b,word_vec]
[b,word_num,word_vec]

RNN基本原理

h存放语境信息，Ht和Xt，Ht-1相关

RNN-layer

nn.RNN

x [seq_len,b,word_vec]
h [b,hdim]

• 初始化：
  nn.RNN(input_size, hidden_size,num_layers)

1. input_size 对应x向量的word_vec
2. hidden_size memory size h向量的hdim
3. num_layers 不使用 默认为1，可以时1/2/4…

• out,ht = forward(x,h0)

1. x :[seq_len,b,word_vec