Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers

阅读论文笔记：Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers

论文名称： Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
论文链接： https://arxiv.org/abs/2103.15679
代码链接： https://github.com/hila-chefer/Transformer-MM-Explainability
引用方式：

@misc{chefer2021generic,
      title={Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers}, 
      author={Hila Chefer and Shir Gur and Lior Wolf},
      year={2021},
      eprint={2103.15679},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

本文主要详细介绍了pure self-attention, self-attention combined with co-attention和encoder-decoder attention。

将Transformer应用在多模态中，主要有三种方式：

一、先对于文本和图像信息分别用Transformer Encoder和CNN进行特征提取，然后通过对比学习的损失函数，使得这两个模态同一类样本的特征能够尽可能相似，不同类样本的特征尽可能不相似。

二、将文本特征和图像特征concat之后，送入到Transformer结构中。

三、不只包含Self-Attention机制的Transformer模型，模型通常接收来自一个模态的输入，并根据另一个模态产生输出。

对于多模态信息的处理方式还有很多，相同点是这些结构都需要学习两个输入特征到输出的一个映射，这个映射包含了两种模式之间的相互作用。这些交互的模块通常采用的Attention-based模型。
本文的方法使用模型的注意层来为网络中输入模态之间的每个交互，生成相关性映射。为了构建模态内和模态间的交互关系，本文通过relevancy map来描述这种交互关系，然后通过计算和更新relevancy map，来表示Transformer中attention模块的可解释性。

同时介绍了三种attention结构：

一、图(a) 使用的纯Self-Attention的结构来建模两个模态的信息 ；

二、图(b) 采用了Self-Attention和Co-Attention结合的方式来建模两个模态的信息 ；

三、图© 采用了encoder和decoder结合的方式，是一种生成模型的常用方式，一个模态信息输入，输出是根据另一个模态的信息得到。

总结

Transformer在计算机视觉中扮演着越来越重要的角色，跨模态的Transformer也在各种下游任务中取得了非常好的performance。为了能够使得Transformer适应于各种下游任务，需要有对Transformer进行可解释性分析的方法。

而目前对Transformer进行可解释性分析的方法大多都是对Self-Attention进行可解释性分析，但是对于跨模态任务来说Co-Attention是一个更加重要的部分，本文作者提出的可解释方法能够对各种Transformer结构进行可解释性分析，并且通过实验证明了，本文的方法大大优于其他的可解释性方法。

参考文献

[1]. Chefer, Hila, Shir Gur, and Lior Wolf. “Transformer interpretability beyond attention visualization.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . 2021.

注：本文仅供作者学习使用，如有任何侵权，或者表述错误等问题，欢迎大家批评指正。