循环神经网络常见的结构（学习笔记）

• 多对1
  例如情感分类，根据句子预测情感。
  文档分类，输出情感，但是下面的结构存在上下文、长时间的序列损失的缺点。
  

• 一对多
  看图描述文字任务。找到CNN特征图的图片之间的对应关系。
  

• 多对多
  机器翻译

Sequence to Sequence
编码器和解码器，等价与 many-to-One + One-to-many ，缺点1是ht存在信息瓶颈， 缺点2是在推断的时候，需要递归的进行推断，会形成误差累积（解决方法：Random Sampling、Greedy Search、树搜索 Beam Search）。

• Beam Search
  根据输入的序列x，给出若干个输出的备选。
  $p(y_1,...y_T|x)=p(y_1|x)\cdot p(y_2|x,y_1)...P(y_T|x,y_1,...,y_{T-1})$
  
  Beam Search 不是端到端的，不可微，类似 Pooling是不可微的。

语言建模
也称为自回归的模型：输入和输出的长度是一样的，序列时间的间隔是-1，使用滑动窗口。