文章题目:Deep Multimodal Neural Architecture Search
链接:link https://arxiv.org/abs/2004.12070
会议期刊:ICCV 2020
论文阅读笔记,帮助记忆的同时,方便和大家讨论。因能力有限,可能有些地方理解的不到位,如有谬误,请及时指正。
论文内容
多模态学习包括问答系统、图文匹配和文字描述。传统的技术途径要么是固定网络学习,要么是在不同领域搜索各自的网络结构,互补干涉。本文构建了一个通用的框架MMnas,囊括以上三大领域,自适应的搜索网络结构。
之前的多模态最好的方式,是基于BERT,MMnas相比于BERT不需要那么大的数据,更加高效,并且是稳定的统一框架。虽然问答系统,图文匹配和语义描述,他们的输入都是图片或者句子,但是其各自的算法都是定制的。而BERT所需要的巨大算力,阻碍了其在实际场景中的应用。
因此本文在MFAS(Multimodal Fusion Architecture Search)的基础上,构建了统一的encoder-decoder框架,并为每一个任务定制head预处理:self-attention (SA), guided-attention (GA), feed-forward network (FFN), and relation self-attention (RSA) 。
每个句子和图片都经过了归一化和裁剪:句子用预训练的GloVe裁剪到300维的向量,其相互关系用m个block表示;图片通过预训练的Fast R-CNN提取n个特征。为了提高搜索效率,该系统的NAS算法使用的是参数共享的one-shot超网机制。
作者在训练的过程中发现:交替训练网络结构和参数会引起搜索过程的偏差,掉入到局部最优解中。因此作者提出了NAS的warmup,在该阶段不训练网络结构,而是先对ops均匀采样,训练模型参数。这样就能确保模型在组合时,能被很好的初始化,保证了搜索的公平性。
算法框架图如下:
并且为了比较各个head的作用,作者做了详细的消融学习。最终发现SA对结果影响最大,其原因可是self-attention能知道特征的空间关系,将模型的性能往前推。并且作者发现,SA和RSA是互补的。
其算法在VQA、VG和ITM任务中都表现优异。
![]() | ![]() |