Review networks for caption generation

注明：欢迎阅读，讨论。转载及参考请注明出处。谢谢~

论文连接：https://pdfs.semanticscholar.org/8736/3aa042cc23bfae3c865d9e8c280f5fe67de7.pdf

主要思想：attention机制每次只关注到局部，没有考虑全局因素对预测的影响。该文将feature map作为图片的全局信息，然后通过LSTM单元获得一个比feature map更能表示图片全局信息的一个更紧凑、更抽象的thought vector。另一方面，该文参考了论文【5】实验得到的有识别的监督是有用的信息，设计了一种有识别的监督训练机制。

本文分两部分解释：

PART I 结构

结构图如下，左边是一般的编码解码结构，右边是review networks结构

1. Attention的输出结果如下：

2. Reviewer的内部结构如下，：

内部的两个Reviewer是并行结构，共同更新'thought vector'。第一个Reviewer的初始值是fc7，文中说hidden state、cell state是传递到了各reviewer单元。我理解的是每一次 review step之后(产生一个thought vector后)，将Reviewer内的参数传递到下一个Reviewer中。

3. Decoder与一般的LSTM单元相同，计算过程如下：

PART II 有识别力的监督

在review networks结构图中的蓝色部分，是有识别力的监督。它在thought vector之后计算出词表中每个字的概率，并运用了max_pooling获得每个字最大的概率（即文中所示的margin）。然后通过margin loss最小：

使得，sj与si区分开来，其中sj是出现在图片描述中的字，而si是没有出现在该图片描述中的字。通过这个监督loss，可以使得reviewer学习到的图片的thought vector更趋近于预测到图片描述中的字。

训练是端到端的，损失函数为：

参考上面（2）、（3）式。

参考论文：Hao Fang, Saurabh Gupta, et al. From captions to visual concepts and back. CVPR, 2015