这篇文章提出SAN模型,SAN将问题作为一个查询条件,在图中寻找与问题相关的区域,主要贡献:
1.提出SAN模型处理VQA任务;
2.在四个数据集上验证SAN模型的性能;
3.详细的分析了SAN不同层的输出,以及证明了多次执行SAN能有效的在图中注意到与问题相关的区域。
模型框架:
整个模型分为三个模块:Image Model,Question Model,Stacked Attention Networks
1.Image Model
利用VGGNet提取图像特征,选择的特征是最后一层池化层(last pooling layer)的特征,这层很好的保持了原始图像的空间信息。首先将图像尺寸改为448x448,经过VGGNet处理之后,提取的feature map 是512x14x14。14x14是区域的数量,512是每个区域向量的维度,每个feature map对应图像中32x32大小的区域。
2. Question Model
利用LSTM或者CNN提取文本特征。
Stacked Attention Networks for Image Question Answering
最新推荐文章于 2022-07-28 09:12:49 发布
文章介绍了一种名为SAN的模型,用于解决视觉问答(VQA)任务。模型由Image Model、Question Model和Stacked Attention Networks三部分组成,通过多次迭代实现对图像相关区域的注意力聚焦。实验在四个数据集上验证了模型性能,并对错误类型进行了分析。
摘要由CSDN通过智能技术生成