【论文笔记】What Value Do Explicit High Level Concept Have in Vision to Language Problems?

不知道大家在接触image caption各种模型的时候有没有发现一些共同点，个人感觉无非是改CNN，改RNN和改衔接方式，这其中可能包含几个问题。
CNN提取出的特征图虽然很适合图像问题，但作为输入直接衔接到翻译问题中合适吗？
CNN的输出要怎么加入到RNN中才能更好的使图像中的注意力信息被文本化呢？
多次输入效果真的不如单次好吗，如果多次输入不同呢？
还有最原始的问题，RNN对长句子的遗忘问题怎么解决呢？

很多论文就是对以上几个问题做了很多的改进和实验，比如说MAT: A Multimodal Attentive Translator for Image Captioning用了很新颖的CNN+encoder+attention+decoder的方式；本次要说的论文使用了BB+pooling的方式优化衔接过程；show attend and tell在CNN和RNN之间加入了上下文，使得每次都有顺序的看图像的不同部位……当然这些模型都取得了不错的效果。纵观CV和NLP中的各种模型的发展，给人一种由硬到软的发展趋势，也就是说类似hard coding（比如说卷基层到fc层的固定神经元数量的映射使得输入图像大小必须一致）的问题一直在向着soft coding发展，但随之而来的问题可能就是参数越来越多，网络越来越复杂。

好啦，以上是个人一点小见解，如果说的欠考虑的也