该论文提出了一种结合底部向上和顶部向下注意力的机制，应用于图像标题生成和视觉问题回答任务。底部向上机制通过Faster R-CNN检测目标物体，顶部向下机制决定特征的注意力权重。通过额外的属性预测输出增强特征学习。模型包含两个LSTM模块，分别用于语言理解和注意力引导。VQA模型也采用了类似的软注意力机制，通过门控双曲正切激活融合加权后的图像和文本特征。
《Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering》
来源：CVPR 2018
参考CSDN博客：
论文笔记：Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answeringblog.csdn.net
一、Introduction
本文提出了联合bottom-up 和top down的注意力机制，对目标物体和图像其它显著区域施加注意力权重。论文解决了image caption以及VQA两个任务。
1.the bottom-up mechanism（Faster R-CNN）：提取图像区域，每个图像区域由池化的卷积特征向量表示
2.the top-down mechanism：决定图像上特征向量的注意力权值
用Faster R-CNN方法进行目标检测
提取出的目标区域的mean-pooled convolutional feature定义为 
\nu_{i}
为了帮助学习更好的特征，
最低0.47元/天 解锁文章
1991
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
