《Deep Graph-level Anomaly Detectionby Glocal Knowledge Distillation》论文阅读笔记

作者：Rongrong Ma

出自：WSDM 2022

简介：本文通过对图和结点表示的联合随机提取来学习丰富的全局和局部正常模式信息。随机蒸馏事通过训练一个GNN来预测另一个具有随机初始化网络权重的GNN来实现的。

首先我们看一下数据结构图的相关知识：

图（graph）：图是由顶点的有穷非空集合和顶点之间边的集合组成，通常表示为：G(V,E)，其中，G表示一个图，V是图G中的顶点的集合，E是图G中边的集合。

顶点(Vertex)：图中的数据元素。线性表中我们把数据元素叫元素，树中将数据元素叫结点。

边：顶点之间的逻辑关系用边来表示，边集可以是空的。
图分为有向图和无向图，它们都可以用邻接矩阵表示。

首先这个图显示了两个一场图形。节点上方/下方的方块表示节点功能。

本文介绍了一种新的GAD的深度异常检测方法，该方法通过对图和节点表示-全局和局部图形表示蒸馏。通过训练一个GNN以预测随机GNN来完成随机表示提取，该随机GNN具有固定到随机初始化的神经网络权重。预测器网络学习产生于随机网络中相同的表示。我们的模型在给定的训练图上学习全局图模式。

提出了全局知识提取（GLocalKD）通过最小化近似随机图卷积神经网络的图级和节点级预测误差，实现了图和节点 表示的联合随机提取。而且这种算法易于实现，不需要复杂的图生成过程，并且能够在较少的训练数据下有效地学习不同的全局正态模式。

本文解决了端到端的图级异常检测问题。给定一组M正规图G={G1，G2，。。。。GM}。我们的目标是学习一个异常评分函数f: G ->R ,用Θ参数化，使得如果比更好地符合G，则𝑓（𝐺𝑖; Θ）〉𝑓（𝐺𝑗; Θ）。在图G中，每个图用𝐺=（V𝐺，E𝐺）表示，有一个顶点/节点集V𝐺和一个边集E𝐺。每个的图结构𝐺可以用邻接矩阵A ∈ R 𝑁×N表示，其中𝑁是中的节点数𝐺，即A（𝑖，𝑗）= 1，如果节点之间存在边𝑣𝑖且𝑣𝑗（（𝑣𝑖，𝑣𝑗）∈ E𝐺）;否则A（𝑖，𝑗）= 0。的每个节点𝐺𝑣𝑖∈ V𝐺进一步与特征向量x ∈ R相关联𝑖𝑛，𝐺是一个属性图。否则G就是一个普通图。

图集中的异常图可以分为两类，即，局部异常图和全局异常图，它们分别定义如下。

        定义1（局部异常图）。给定一个图数据集G = {𝐺𝑖}𝑀𝑖，其中每个图𝐺∈ G记为𝐺=（V𝐺，E𝐺），𝐺如果𝐺由于某些异常节点∈ V的存在而使图与G中的图不一致𝑣𝑣𝐺，则图是局部异常图。

        定义2（全局异常图）。给定一个图数据集G = {𝐺𝑖}𝑀𝑖，𝐺如果图的整体图性质𝐺与G中的图的整体图性质不一致，则称图为整体异常图.

本文的框架联合提取的每个图的图级和节点级表示，以学习全局和局部图正规性信息。它由两个图神经网络组成，一个是固定的随机初始化目标网络，一个是预测器网络，它们具有完全相同的结构和两个蒸馏损失。设h𝐺和h𝐺分别是𝐺由预测器和目标网络产生的的的图形表示，h𝑖和h𝑖是由两个网络产生的节点in的相应节点表示𝑣𝑖𝐺

 实验步骤：

1，初始化一个图网络作为目标网络，并固定其权重参数Θ，𝜙ˆ的权重参数Θˆ被固定，对于给定的每个节点产生了一个图级表示hG`和节点级表示hi`。

2，让预测器网络与目标网络相同的架构，权重表示为 Θ ，也相应产生 ℎG 和 ℎi

3，对于图G，将hG`、hi`、ℎG 、 ℎi整合为损失函数，最小化损失函数以训练预测器网络。图G的异常分数定义为：

 

 

 

 

 

 

         本文提出了一种新的异常图检测框架及其实例GLocalKD。如我们的实验结果所示，图数据集可以包含不同类型的异常-局部异常图和全局异常图。据我们所知，GLocalKD是第一个设计用于检测这两种类型的图异常的模型。大量实验表明，与高级算法相比，GLocalKD在AUC方面表现明显更好，训练样本效率更高。我们还证明了GLocalKD即使在训练数据中存在大量异常污染时也能实现良好的AUC性能，这表明GLocalKD不仅可以应用于半监督设置（仅正常训练数据），还可以应用于无监督设置（异常污染的未标记训练数据）。