Google新作：注意力机制是否真的能够提供模型的可解释性？

©PaperWeekly 原创 · 作者｜张琨

学校｜中国科学技术大学博士生

研究方向｜自然语言处理

论文标题：

The elephant in the interpretability room: Why use attention as explanation when we have saliency methods?

论文作者：

Jasmijn Bastings, Katja Filippova

论文链接：

https://arxiv.org/abs/2010.05607

动机

注意力机制（Attention Mechanism）作为机器学习，人工智能研究中一个里程碑式的研究成果，它能够根据需求选择最合适的输入，能够对齐两个序列之间的 token 关系，从而实现更好的效果，可以说注意力机制已经成为现在很多人工智能研究（NLP, CV）的标配。

随着大家对可解释性的需求越来越高，注意力机制也被用来实现对模型运行方式的可解释性分析，同时由于注意力机制拥有良好的可视化操作，因此大家都会说使用了注意力机制，提高了模型的可解释性，同时会用一些注意力权重分布的可视化来支持这一观点。

但注意力机制是否真的能够提供模型的可解释性，为什么要使用注意力作为模型可解释性研究的一个重要途径呢？为了回答这个问题，并深入研究注意力机制在可解释性研究中发挥的作用。就有了本文这个工作。