图学习(二)K-armed Bandit based Multi-modal Network Architecture Search for Visual Question Answering

背景

研究机构：厦门大学纪荣嵘组
论文接收于2020ACM MM

摘要

本文将NAS应用于VQA问题中，提出一种k-Armed Bandit based NAS(KAB-NAS)方法，简单来说即处理多模态特征的L个层由single-shot的方法搜索得出，每一层都提供K个候选算子而得名。此外，作者提出一个Automatic Graph Attention Network (AGAN)模块，通过三种图结构以及self-attention机制来学习图上的信息传播，是对传统的GCN的改进。

NAS部分(非本篇的重点)

AGAN 自动图注意力网络

几个符号：假定进入AGAN的特征表示为 图像特征$F_I\in {\mathbb{R}}^{K\times d}$ ，问题特征$F_Q\in {\mathbb{R}}^{T\times d}$，故构建的multi-modal Graph $G=(V,E)$，V是所有的节点构成的集合（包含image regions与 words of question）。E是节点之间构成的边（貌似没有提这个边矩阵怎么计算得到？）。
图G中所有的顶点特征即 F g ∈ R ( K +