TRAR：Routing the attention spans in transformer for visual question answering学习笔记

摘要

问题：如何动态调度全局和局部依赖关系建模

解决方法：基于实例的路由方案——TRAR。在TRAR中，每个视觉transformer层都配备了具有不同注意广度的路由模块。该模型可以根据前一步推理的输出动态选择相应的注意，以为每个实例制定最优路由路径。

introduction

image transformers：仅依赖SA中的全局依赖项建模难以满足需求

TRAR：实现了注意力的自动选择。

相关工作

动态神经网络：在推理过程中调整结构或参数以适应给定实例。

Transformer Routing

1. routing process（路由过程）

创建多分支网络结构，其中每层都配备不同设置的模块。X为最后一个推理步骤的特征，F为路由空间，n为特征个数，d为特征维度。下一个推理步骤的输出为：
α是路径控制器预测的路径选择概率，F是一组模块。在测试过程中，α可以二值化以进行硬选择，也可以保持连续以获得软路由。

优化后：
D为邻接掩码，用于计算各元素之间的耦合系数：D的值为0或1，如果在目标元素的注意广度内则为1。因此，注意力只在定义的广度内执行。

SA：
简化后的SA：
2. path controller（路径控制器）

在TRAR中，每个视觉SA层都配备了一个路径控制器来预测路由选项的概率，即模块选择：
AttentionPool是基于注意力的池化方法。
3. attention span（注意广度）

注意广度代表注意特征的接受域。
4. optimization

软路由
硬路由
5. network

基于MCAN：将视觉SA模块替换为路由模块；在视觉和语言输出之后添加了两个attentionpooling层。

实验结果

Base为MCAN；S为软路由；H为硬路由。