​ICLR 2023 | 图数据分布外检测：从能量模型出发

©PaperWeekly 原创 · 作者 | 吴齐天

单位 | 上海交通大学博士生

研究方向 | 机器学习与图深度学习

继续探索 Graph OOD 的相关问题，与以往工作不同的是，这篇工作避开了复杂的数学推导和琐碎的数据生成过程，直接从简单有效的判别模型入手研究图上的 OOD 检测问题。

论文题目：

Energy-based Out-of-Distribution Detection for Graph Neural Networks

论文链接：

https://arxiv.org/abs/2302.02914

代码链接（含实验细节说明）：

https://github.com/qitianwu/GraphOOD-GNNSafe

尽管针对图数据的学习方法目前已取得了空前的进展，绝大部分现有的方法都假设训练数据与测试数据来自同一分布。目前有大量研究表明，现有的图深度学习模型（如图神经网络）通常在分布外数据上表现差强人意，这也使得针对图数据分布外泛化（Out-of-Distribution Generalization，简称 OOD 泛化）问题的研究 [1,2] 逐渐流行起来。

OOD 泛化问题旨在解决训练和测试分布不一致的问题，其学习目标是为了提升模型在新的未知分布的测试数据上的性能。而另一类比较常见的实际问题，是分布外检测（Out-of-Distribution Generalization Detection）[3,4]，问题定义为：

当分类器在有限观测的训练数据上完成训练后，需要具备识别测试集中不同于训练主体分布的数据（即 OOD 数据）的能力。

尽管 OOD 检测在图像领域已被广泛研究，但针对图数据的分布外检测还是一个几乎未被探索的领域 [5]。

图上节点分布外检测的问题定义

首先，从整体上看，与图片不同的是，图结构数据中的每个样本通常是图上的节点。由于节点互联的特性，节点样本之间存在着依赖关系，导致了样本的非独立性。因此，在对 OOD 样本进行判定时，需要考虑到这种数据依赖关系（data inter-dependence）。

▲ 图片样本分布外检测与图中节点分布外检测的对比。图片数据可以看作i.i.d.产生的独立样本，而图中的节点样本存在互相的依赖关系。

下面我们对图上的 OOD 检测问题给出定义。假设输入数据样本构成了一个图 ， 是节点集合， 是连边集合，使用 表示邻接矩阵。图中每个节点 都是一个样本，包含输入特征 和标签 。

图中的节点集合 分成了训练集 和测试集 。定义 和 ，我们需要训练一个节点分类器 ，它能预测节点的标签 。此外，更重要的是，这一分类器具备识别分布外样本的能力。具体的，考虑一个由 产生的决策函数 ，使得对于任意输入 有：

其中 表示节点 在图中对应的邻居子图。