NLP学习笔记：seq2seq

1 基于RNN生成文本，seq2seq(从一个时序到另一个时序的神经网络)。
2 语言模型：根据已经出现的单词输出下一个出现的单词的概率分布。

3 如何生成下一个新单词：选择概率分布中概率最高的单词（确定性方法）；根据概率分布进行概率性的选择（概率性的方法）。

4 步骤：生成单词的语言模型-->获得单词的概率分布-->根据概率分布采样下一个出现的单词
5 seq2seq:又称 Encoder Decoder model 。

6 seq2seq改进：反转输入数据（直观的认为反转数据后反向传播梯度更加平滑）。

7 seq2seq改进：Peeky（偷窥）,将编码器输出的隐藏状态信息h分配给解码器所有的LSTM和Affine层，加入Peeky后模型参数增加带来计算量的负担。

8 seq2seq的应用：机器翻译、自动摘要、问答系统、邮件自动回复、图像自动描述等。