Review Networks for Caption Generation
ZhilinYang, YeYuan, YuexinWu, RuslanSalakhutdinov, WilliamW.Cohen School of Computer Science Carnegie Mellon University {zhiliny,yey1,yuexinw,rsalakhu,wcohen}@cs.cmu.edu
arXiv:1605.07912v4 [cs.LG] 27 Oct 2016
摘要:
本人提出了一种新的编码解码框架--'review network', 它是通用的,可以用于改进任何已有的编码解码模型
本文涉及两种模型, CNN encoder + RNN decoder 和 RNN encoder + RNN decoder
'review network'在编码器的隐藏状态中使用了若干带有注意力的review步骤,在每一次review后输出 'thought verctor', 该‘review network’被用于解码器中的注意力机制中的输入。
传统的编码解码框架可以视为reviwe network的特例。
两个变种:
AttentiveInput Reviewer: 主要针对图像
AttentiveOutputReviewer: 主要针对序列
注意力机制 是解码器在生成过程中 附加以编码器的隐藏状态为条件,而不仅仅是以单个context(最后一个encoder的)信息为条件