阅读论文笔记:Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
论文名称: Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
论文链接: https://arxiv.org/abs/2103.15679
代码链接: https://github.com/hila-chefer/Transformer-MM-Explainability
引用方式:
@misc{chefer2021generic,
title={Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers},
author={Hila Chefer and Shir Gur and Lior Wolf},
year={2021},
eprint={2103.15679},
archivePrefix={arXiv},
primaryClass={cs.CV}
}
本文主要详细介绍了pure self-attention, self-attention combined with co-attention和encoder-decoder attention。
将Transformer应用在多模态中,主要有三种方式:
一、先对于文本和图像信息分别用Transformer Encoder和CNN进行特征提取,然后通过对比学习的损失函数,使得这两个模态同一类样本的特征能够尽可能相似,不同类样本的特征尽可能不相似。
二、将文本特征和图像特征concat之后,送入到Transformer结构中。
三、不只包含Self-Attention机制的Transformer模型,模型通常接收来自一个模态的输入,并根据另一个模态产生输出。
对于多模态信息的处理方式还有很多,相同点是这些结构都需要学习两个输入特征到输出的一个映射,这个映射包含了两种模式之间的相互作用。这些交互的模块通常采用的Attention-based模型。
本文的方法使用模型的注意层来为网络中输入模态之间的每个交互,生成相关性映射。为了构建模态内和模态间的交互关系,本文通过relevancy map来描述这种交互关系,然后通过计算和更新relevancy map,来表示Transformer中attention模块的可解释性。
同时介绍了三种attention结构:
一、图(a) 使用的纯Self-Attention的结构来建模两个模态的信息 ;
二、图(b) 采用了Self-Attention和Co-Attention结合的方式来建模两个模态的信息 ;
三、图© 采用了encoder和decoder结合的方式,是一种生成模型的常用方式,一个模态信息输入,输出是根据另一个模态的信息得到。
总结
Transformer在计算机视觉中扮演着越来越重要的角色,跨模态的Transformer也在各种下游任务中取得了非常好的performance。为了能够使得Transformer适应于各种下游任务,需要有对Transformer进行可解释性分析的方法。
而目前对Transformer进行可解释性分析的方法大多都是对Self-Attention进行可解释性分析,但是对于跨模态任务来说Co-Attention是一个更加重要的部分,本文作者提出的可解释方法能够对各种Transformer结构进行可解释性分析,并且通过实验证明了,本文的方法大大优于其他的可解释性方法。
参考文献
[1]. Chefer, Hila, Shir Gur, and Lior Wolf. “Transformer interpretability beyond attention visualization.” Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition . 2021.
注:本文仅供作者学习使用,如有任何侵权,或者表述错误等问题,欢迎大家批评指正。