#今日论文推荐# ICML 2022 | 基于随机注意力机制的可解释可泛化图学习

#今日论文推荐# ICML 2022 | 基于随机注意力机制的可解释可泛化图学习

图学习模型广泛应用于科学领域，例如物理学（Bapst et al., 2020）和生物化学（Jumper et al., 2021）。对于科学家来说，相比于建立准确的预测模型，从诱发某些预测的数据中发现模式更为重要。最近，图神经网络（GNN）由于其强大的表达能力几乎成为了主流的图学习模型。然而，它们的表现力通常建立在不规则图特征的高度非线性纠缠之上。因此，从 GNN 用于进行预测的数据中找出模式通常十分具有挑战性。
本文通过提出 Graph Stochastic Attention（GSAT）来迎接上述挑战，GSAT 是一种新颖的注意力机制，用于构建具有内在可解释性和良好泛化性的 GNN。GSAT 的基本原理源于信息瓶颈（IB）的概念（Tishby 等人，2000；Tishby & Zaslavsky，2015）。研究通过将随机性注入到注意力中来将注意力制定为 IB，以约束从输入图到预测的信息流（Shannon，1948）。与标签无关的图组件的这种随机性将在训练期间保持，而与标签相关的图组件的随机性可以自动减少。这种差异最终提供了模型解释。
本文的主要贡献如下：

• 首先，IB 原则将 GSAT 从先前方法采用的任何潜在的有偏见的假设中解放出来，例如检测图形模式的大小或连接性约束。GSAT 可以实现更好的解释。
• 其次，从 IB 的角度来看，所有事后解释方法都是次优的。它们基本上在没有任何信息控制的情况下优化模型，然后对信息控制执行单步投影，这会导致最终解释性能对预训练模型敏感。
• 第三，通过减少输入图中的信息，GSAT 可以证明在某些假设下可以去除训练数据中的虚假相关性，从而实现更好的泛化。
• 第四，如果提供预训练模型，GSAT 可能会进一步提高其解释和预测准确性。
• 在多个真实世界的数据集上进行实验，发现本文提出的模型优于现有方法。

论文题目：Interpretable and Generalizable Graph Learning via Stochastic Attention Mechanism
详细解读：https://www.aminer.cn/research_report/62f4f1f07cb68b460f00c195https://www.aminer.cn/research_report/62f4f1f07cb68b460f00c195
AMiner链接：https://www.aminer.cn/?f=cs