image caption—《Neural Baby Talk》学习笔记

论文：《Neural Baby Talk》
论文链接：https://arxiv.org/abs/1803.09845
代码链接：https://github.com/jiasenlu/NeuralBabyTalk

     目前大多做image caption的方法都是基于Encoder-Decoder框架。创新比如引入attention机制、采用LSTM、双层LSTM等等。文章认为现代神经网络图像描述方法产生的自然语言描述虽然比较流畅，但是都是依靠语言模型去生成句子，往往不太依赖于图像。
     这篇《Neural Baby Talk》生成了带“插槽”的句子，产生的句子中的插槽（大多主语、宾语）明确与图像区域相关联，是直接依据图像特征去预测的词。句子中的文本词是根据语言模型去生成。下面是我简单画的本文的功能模块图：

    文章同样也是基于Encoder-Decoder框架。简单来说，在编码阶段，输入一幅图像，通过Faster-RCNN提取图像的区域特征。在产生句子的解码阶段，作为潜在变量来表示当前应该关注视觉词（大多主语或者宾语）还是关注文本词，如果当前时刻所产