背景
研究机构:厦门大学纪荣嵘组
论文接收于2020ACM MM
摘要
本文将NAS应用于VQA问题中,提出一种k-Armed Bandit based NAS(KAB-NAS)方法,简单来说即处理多模态特征的L个层由single-shot的方法搜索得出,每一层都提供K个候选算子而得名。此外,作者提出一个Automatic Graph Attention Network (AGAN)模块,通过三种图结构以及self-attention机制来学习图上的信息传播,是对传统的GCN的改进。
NAS部分(非本篇的重点)
AGAN 自动图注意力网络
几个符号:假定进入AGAN的特征表示为 图像特征 F I ∈ R K × d F_I\in \R ^{K\times d} FI∈RK×d ,问题特征 F Q ∈ R T × d F_Q\in\R^{T\times d} FQ∈RT×d,故构建的multi-modal Graph G = ( V , E ) G=(V,E) G=(V,E),V是所有的节点构成的集合(包含image regions与 words of question)。E是节点之间构成的边(貌似没有提这个边矩阵怎么计算得到?)。
图G中所有的顶点特征即 F g ∈ R ( K +