Datawhale GNN 组队学习-Task04

节点预测与边预测

先贴一下一篇ICLR2021关于GNN预测过程的论文的详细笔记。

图数据的天然优势是为学习算法提供了丰富的结构化信息，节点之间邻接关系的设计成为了重要的先验信息和交互约束。然而，有一部分边上的消息是可以忽略的，论文首先提出方法在不影响模型预测效果的情况下，将图结构中冗余的边drop掉。通过分析剩余边上具有怎样的先验知识，实现对GNN的预测过程加以解释。
0. AbstractGNN 能够将结构归纳偏置（structural inductive biases） 整合到 NLP 模型中。然而，却鲜有工作对于这种结构偏置的原理加以解释，特别是在理解图结构的哪些部分有助于模型的预测方面。因此，本文介绍了一种事后（post-hoc）方法，来对 GNN 的预测加以解释，它能够识别出不必要的边。给定一个训练过的GNN模型，本文通过学习一个简单的分类器，对于每一层中的每条边，预测那条边是否可以被丢弃。作者证明了这样的分类器的训练可以用完全可微分的方式，使用随机门，并通过范数促进稀疏性。此外，作者还进行了非常有意义的实验，将提出的技术作为归因方法，同时分析了两个 NLP 任务中的GNN模型——问题回答和语义角色标注，并提供了对这些模型中信息流的理解。实验结果表明，可以丢弃大量的边却不会影响到模型的性能，同时通过分析剩余的重要边来解释模型的预测过程。1. Introduction基于GNN的NLP任务1.应用现状近年来，图神经网络（GNNs）成为了一种可扩展和高性能的方法，能够将语言信息和其他结构偏置整合到NLP模型中。GNN 能够用于文本数据的表示，例如：语法和语义图、共指结构、知识库与文本链接等。也能够用在多种NLP任务中，例如：关系抽取，问题回答，语义语法解析，文本摘要，机器翻译，社交网络中的滥用语言检测等。2.应用瓶颈——在NLP任务中的可解释性虽然 GNN 性能较好，但模型还是相对复杂的，很难理解模型预测背后的“原因”。对于NLP从业者来说，知道给定的模型编码了哪些语言信息以及编码是如何发生的是非常重要的，GNN 可解释性差是实现这种分析的障碍。此外，这种不透明性降低了用户的信任，阻碍了有害偏置的发现，并使错误分析复杂化；在这篇论文中，着重于对 GNN 的事后分析，并对解释GNN的方法制定了以下要求：能够识别层之间的相关路径，因为路径是向用户展示 GNN 推理模式的最自然的方式之一;易于处理，适用于现代基于 GNN 的 NLP 模型;尽可能的提升可信度，为模型如何真正的达到预测效果提供解释。前置知识：擦除搜索（erasure search）1.定义执行解释的一个简单方法是使用擦除搜索［1］，这是一种归因的方法，在不影响模型预测的情况下，查找到可以被完全删除的最大特征子集。删除意味着模型丢弃的所有特征信息都能够被忽略。2.擦除搜索应用于GNN对于GNN 而言，擦除搜索需要找到可以完全丢弃的最大子图。对于上面提到的三点需求，擦除搜索只能满足（1）和（3），在易处理性上失败了。在实际场景中是不可行的，一次只删除一个特征的花销非常大，并且由于饱和性会低估特征的贡献；此外，在擦除搜索中，优化是针对每个例子单独进行的。由于使用另一个可选择的较小子图也可以做出类似的预测，即使是非冗余的边也会被积极地修剪，这可能会导致过拟合，作者将这个问题称为事后偏差（hindsight bias）。GRAPHMASK 方法论文提出的 GRAPHMASK 旨在通过可扩展的方式实现与擦除搜索相同的优点，从而满足上述的需求。也就是说，作者的方法对保留或丢弃边做出了可解释的硬性选择，从而使被丢弃的边与模型预测没有相关性，同时保持了易处理性。GRAPHMASK 可以理解为子集擦除的一种可微的形式。其中，作者不是为每个给定的例子找到一个需要擦除的最佳子集，而是学习一个参数化的擦除函数，该函数可以预测是否应该保留第层的每条边 。给定一个示例图 ，作者的方法为第 层返回一个子图 ，这样就可以认为 之外的任何边都不会影响模型的预测。由于作者的模型依赖于参数化的擦除函数，而不是对每条边单独进行选择，作者可以通过在训练数据集上摊开参数学习，这种策略避免了事后偏差。论文的贡献作者提出了一种新的针对GNN可解释性的方法，适用于任何以GNN为组件的端到端神经模型（作者将发布代码）。作者用人工数据证明了现有最新方法的缺点，并展示了论文的方法如何解决这些缺点并提高可信度。作者使用GRAPHMASK来分析两个NLP任务中的GNN模型：语义角色标注和多跳问题回答。2. MethodsGNN给定输入图 ，GNN 第层的工作机制能够通过一个消息函数 和一个聚合函数 定义：其中， 表示节点 和 之间的关系类型， 是节点 的邻居集合， 是第 层节点的表示。GRAPHMASK目标：获得原始图数据中的冗余信息，检测在不影响模型预测的情况下，第 层的哪些边上的消息 可以被忽略，作者将这些边和边上的消息视为冗余的。整体思路（如下图）：节点的隐藏状态和消息被喂入一个分类器 ，预测得到一个掩码 ，作者用 来代替第 层的消息，并使用修改后的节点状态重新计算前向传播。分类器 在不改变模型预测的情况下，尽可能多的遮蔽隐藏状态。d4aa2812-88e9-11eb-8b86-12bb97331649.jpg模型框架Original Model 当节点 和 之间有边连接时，那么消息 能够自由的传递给节点 ；Gated Model 训练一个分类器 控制原始消息 是否要被遮蔽，若原始消息被遮蔽，则计算一个新的消息 ，再传递给节点 。Gated Model 中消息的计算作者通过一个二元选择模型 查找需要丢弃的边， 并通过一个可学习的基线 替换被丢弃的消息：即，当 时，原始消息被遮蔽掉，使用学习到的参数 作为新的消息。二元选择模型的局限不满足作者在 Introduction 中提出的要求：1）该过程涉及到对所有可能被丢弃的候选边进行搜索，所以不是易处理的。2）搜索过程是对每一个例子单独进行的，存在事后偏见的危险。为了克服这些问题，作者通过一个简单的函数来计算 ，对每个任务跨数据点学习一次：其