Stacked Attention Networks for Image Question Answering

  这篇文章提出SAN模型，SAN将问题作为一个查询条件，在图中寻找与问题相关的区域，主要贡献：
  1.提出SAN模型处理VQA任务；
  2.在四个数据集上验证SAN模型的性能；
  3.详细的分析了SAN不同层的输出，以及证明了多次执行SAN能有效的在图中注意到与问题相关的区域。
  模型框架：
  
  整个模型分为三个模块：Image Model，Question Model，Stacked Attention Networks
  1.Image Model
  利用VGGNet提取图像特征，选择的特征是最后一层池化层(last pooling layer)的特征，这层很好的保持了原始图像的空间信息。首先将图像尺寸改为448x448，经过VGGNet处理之后，提取的feature map 是512x14x14。14x14是区域的数量，512是每个区域向量的维度，每个feature map对应图像中32x32大小的区域。
  2. Question Model
  利用LSTM或者CNN提取文本特征。