A Comprehensive Survey on Graph Anomaly Detection with Deep Learning
深度学习图异常检测综合综述
异常表示与其他显着偏离的罕见观察结果（例如，数据记录或事件）。 几十年来，由于这些事件对广泛学科的影响，对异常采矿的研究越来越受到关注。 异常检测旨在识别罕见的观察结果，是世界上最重要的任务之一，并已显示出其在防止金融欺诈、网络入侵和社交垃圾邮件等有害事件方面的威力。 检测任务通常通过识别特征空间中的异常数据点来解决，并且固有地忽略了现实世界数据中的关系信息。 图已普遍用于表示结构信息，这引发了图异常检测问题——识别单个图中的异常图对象（即节点、边和子图），或数据库/图集中的异常图。 然而，由于图形数据的复杂性，传统的异常检测技术无法很好地解决这个问题。 随着深度学习的出现，深度学习的图形异常检测最近受到越来越多的关注。 在本次调查中，我们旨在系统全面地回顾当代用于图形异常检测的深度学习技术。 我们编译开源实现、公共数据集和常用的评估指标，为未来的研究提供丰富的资源。 更重要的是，我们根据涵盖未解决和新兴研究问题以及实际应用的调查结果，突出了十二个广泛的未来研究方向。 通过这项调查，我们的目标是创建一个“一站式服务”，提供对问题类别和现有方法、公开可用的实践资源以及使用深度学习进行图形异常检测的高影响开放挑战的统一理解 .
目录
8 ANOMALOUS GRAPH DETECTION (ANOS GD) 15
1 引言
A NOMALIES 最早由 Grubbs 于 1969 年定义[1] 为“出现明显偏离样本中其他成员的异常现象”，异常检测的研究始于 19 世纪的统计界。 对我们来说，异常可能表现为社交垃圾邮件发送者或社交媒体中的错误信息； 社交网络中的欺诈者、机器人用户或性侵犯者； 计算机网络中的网络入侵者或恶意软件以及工业系统中损坏的设备或故障块，它们通常会对它们出现的现实世界系统造成巨大破坏。根据 FBI 的 2014 年互联网犯罪报告，社交媒体犯罪造成的经济损失 仅下半年就超过 6000 万美元，一份更新的报告表明，到 2020 年，网络假新闻的全球经济成本达到每年约 780 亿美元。
在计算机科学领域，异常检测研究 追溯到 1980 年代，检测图形数据的异常从一开始就是一个重要的数据挖掘范式。 然而，现实世界对象之间广泛存在的联系以及过去十年中图数据挖掘的进步彻底改变了我们对图异常检测问题的理解，因此该研究领域在过去五年中受到了极大的关注。 最重要的变化之一是图异常检测已经从严重依赖人类专家的领域知识发展到消除人工干预的机器学习技术，最近又发展到各种深度学习技术。 这些深度学习技术不仅能够比以往更准确地识别图形中的潜在异常，而且还可以实时识别。
就我们今天的目的而言，异常在不同的应用领域也被称为异常值、例外、特殊性、稀有性、新奇性等，指的是与标准、正常或预期有显着差异的异常对象。
尽管这些对象在现实世界中很少出现，但它们包含支持下游应用程序的关键信息。 例如，欺诈者的行为为反欺诈检测提供证据，异常网络流量为网络入侵防护揭示信号。 在许多情况下，异常也可能产生真实和不利的影响，例如，社交媒体中的假新闻会以误导性信念制造恐慌和混乱[2][5]，在线评论系统中不可信的评论会影响客户的购物选择[ 6]-[8]，网络入侵可能会向黑客泄露私人个人信息[9]-[12]，金融欺诈会对经济系统造成巨大破坏[13]-[16]。
异常检测是数据挖掘过程，旨在识别数据集中偏离大多数的异常模式 [17]-[19]。 为了检测异常，传统技术通常将现实世界的对象表示为特征向量（例如，社交媒体中的新闻表示为词袋[20]，网页中的图像表示为颜色直方图[21]） ，然后检测向量空间中的离群数据点[22][24]，如图1（a）所示。 尽管这些技术在以表格数据格式定位偏差数据点方面显示出强大的力量，但它们固有地丢弃了对象之间的复杂关系 [25]。
然而，在现实中，许多对象之间有着丰富的关系，可以为异常检测提供有价值的补充信息。 以在线社交网络为例，可以使用来自正常用户的有效信息创建虚假用户，也可以通过模仿良性用户的属性来伪装自己[26]，[27]。 在这种情况下，虚假用户和良性用户将具有几 乎相同的特征，而传统的异常检测技术可能无法仅使用特征信息来识别他们。 同时，虚假用户总是与大量良性用户建立关系，以增加他们的声誉和影响力，从而获得意想不到的好处，而良性用户很少表现出这种行为[28]，[29]。 因此，假用户形成的这些密集和意外的连接表示他们对良性的偏差，更全面的检测技术应该考虑这些结构信息以查明异常的偏差模式。
为了表示结构信息，图已广泛应用于社交活动、电子商务、 生物学，学术界和传播。 利用图中包含的结构信息，检测图中的异常在非欧几里德空间图异常检测（GAD）中提出了一个更复杂的异常检测问题，其目的是识别异常图对象（即节点，边或子图） 单个图以及图集/数据库中的异常图 [25]、[36]、[37]。 作为图 1(b) 所示的玩具示例，给定一个在线社交网络，图异常检测旨在识别异常节点（即恶意用户）、异常边（即异常关系）和异常子图（即， 恶意用户组）。 但是，由于大量的图异常类型不能直接在欧几里得特征空间中表示，将传统的异常检测技术直接应用于图异常检测是不可行的，近年来研究人员加大了对GAD的研究力度。
在该领域的早期工作中，检测方法在很大程度上依赖于领域专家 [38]-[40] 建立的手工特征工程或统计模型。 这从本质上限制了这些技术检测未知异常的能力，而且这项工作往往非常费力。 许多机器学习技术，如矩阵分解 [41]、[42] 和 SVM [43]，也已被应用于检测图形异常。 然而，现实世界的网络通常包含数百万个节点和边，这些节点和边会产生极高维和大规模的数据，而这些技术不容易有效地扩展到此类数据。 实际上，它们在存储和执行时间方面都表现出很高的计算开销 [44]。 这些与图形数据相关的一般挑战对于检测技术来说非常重要，我们在本次调查中将它们归类为特定于数据的挑战（Data-CHs）。 附录 A 中提供了它们的摘要。
基于非深度学习的技术也缺乏捕获真实对象的非线性特性的能力 [24]。 因此，它们学习到的对象表示的表现力不足以完全支持图异常检测。 为了解决这些问题，最近的研究寻求采用深度学习技术来识别异常图形对象的潜力。 作为数据挖掘的强大工具，深度学习在数据表示和模式识别方面取得了巨大成功[55]-[57]。 它具有多层参数和转换的深层架构似乎很适合上述问题。 最近的研究，如深度图表示学习和图神经网络（GNNs），进一步丰富了深度学习在图数据挖掘中的能力[58]-[62]。 通过提取表达表示使得图形异常和正常对象可以很容易地分开，或者可以通过深度学习技术直接学习异常的偏离模式，深度学习图形异常检测（GADL）开始走在前沿 异常检测。 基于深度学习的图形异常检测作为一项前沿技术，有望在异常检测方面产生更多丰硕成果，为社会提供更便捷的生活保障。
1.1 深度学习在 GAD 中的挑战
由于异常检测和图数据挖掘[63]-[67]的复杂性，除了前面提到的特定于数据的挑战外，采用深度学习技术进行图异常检测还面临着许多技术方面的挑战。 这些与深度学习相关的挑战被归类为特定技术挑战 (Tech-CHs)，总结如下。
技术-CH1。 异常感知培训目标。 深度学习模型在很大程度上依赖于训练目标来微调所有可训练参数。 对于图形异常检测，这需要适当的训练目标或损失函数，以便 GADL 模型能够有效地捕获良性和异常对象之间的差异。 设计异常感知目标非常具有挑战性，因为没有关于地面真实异常的先验知识以及它们与大多数异常的偏离模式。 如何通过训练有效地将异常与正常对象分开对于基于深度学习的模型仍然至关重要。
技术-CH2。 异常可解释性。 在现实场景中，检测到的异常的可解释性也很重要，因为我们需要提供有说服力的证据来支持后续的异常处理过程。 例如，金融机构的风险管理部门必须提供合法证据才能冻结已识别的异常用户的账户。 由于深度学习的可解释性受到限制 [24]，[68]，如何证明检测到的图形异常是深度学习技术面临的一大挑战。
Tech-CH3。 培训成本高。 尽管 D(G)NN 能够消化图形数据中的丰富信息（例如，结构信息和属性）以进行异常检测，但由于异常感知训练目标，这些 GADL 模型比传统的深度神经网络或机器学习方法更复杂 . 这种复杂性本质上会导致时间和计算资源方面的高训练成本。
技术-CH4。 超参数调整。 D(G)NNs 自然地表现出大量的超参数，例如每个神经网络层中的神经元数量、学习率、权重衰减和训练时期的数量。 他们的学习表现受到这些超参数值的显着影响。 然而，由于在真实场景中缺乏标记数据，有效地为检测模型选择最优/次优设置仍然是一个严峻的挑战。
由于深度学习模型对其关联的超参数很敏感，因此为超参数设置性能良好的值对于任务的成功至关重要。 当标记数据可用时，调整超参数在监督学习中相对微不足道。 例如，用户可以通过将模型的输出与地面实况进行比较来找到一组最优/次优的超参数（例如，通过随机搜索、网格搜索）。 然而，无监督异常检测没有可访问的标记数据来判断模型在不同超参数设置下的性能 [69]，[70]。 为无监督检测模型选择理想的超参数值一直是将它们应用于各种实际场景的关键障碍。
1.2 现有的异常检测调查
认识到异常检测的重要性，在过去十年中进行了许多综述工作，涵盖了一系列异常检测主题：深度学习异常检测、图形异常检测、深度学习图形异常检测，以及特定的异常检测 图异常检测的应用，如社交媒体、社交网络、欺诈检测和网络安全等。
有一些关于广义异常检测技术的代表性调查 - [18]、[45] 和 [44]。 但只有 Thudumu 等人的最新工作。 [44]涵盖了图形异常检测的主题。 认识到深度学习的力量，三项当代调查，Ruff 等人。 [71],庞等。 [24] 以及 Chalapathy 和 Chawla [47] 专门回顾了基于深度学习的异常检测技术。
至于图形异常检测，Akoglu 等人。 [25]，Ranshous 等人。 [48]，Jennifer 和 Kumar [49] 将注意力集中在图形异常检测上，回顾了该领域的许多传统方法，包括统计模型和机器学习技术。 其他调查致力于图形异常检测的特定应用，例如计算机网络入侵检测和在线社交网络中的异常检测，例如 [3]、[6]、[19] 和 [50]-[54][HZ1] 。 这些工作对异常检测/图形异常检测技术在这些高需求和重要领域的应用提供了可靠的评论。 然而，如表 1 所示，上述调查都没有专门针对深度学习的图形异常检测技术，因此没有对这些技术进行系统和全面的回顾。
1.3 贡献
我们的贡献总结如下：
• 深度学习图异常检测的第一次调查。 据我们所知，我们的调查是第一个审查用于图形异常检测的最先进深度学习技术的调查。 大多数相关调查要么关注使用非深度学习技术的传统图形异常检测方法，要么关注广义异常检测技术（用于表格/点数据、时间序列等）。 到目前为止，还没有关于深度学习图异常检测的专门和全面的调查。 我们的工作弥合了这一差距，我们期望有组织和系统的调查将有助于推动这一领域的研究。
• 系统和全面的审查。 在本次调查中，我们回顾了在深度学习、数据挖掘、Web 服务和人工智能领域有影响力的国际会议和期刊上发表的用于图形异常检测的最新深度学习技术，包括：TKDE、TKDD、 TPAMI、NeurIPS、SIGKDD、ICDM、WSDM、SDM、SIGMOD、IJCAI、AAAI、ICDE、CIKM、ICML、WWW、CVPR 等。 我们首先总结了使用深度学习进行图形异常检测的七个特定于数据和四个特定于技术的挑战。 然后，我们从以下角度全面回顾现有工作：1）深层方法背后的动机； 2）识别图异常的主要思路； 3）常规非深度学习技术简介； 4) 深度学习算法的技术细节。 图 2 给出了图形异常检测和回顾工作的简要时间表。
• 未来方向。 从调查结果中，我们强调了 12 个未来的研究方向，涵盖了图形数据、异常检测、深度学习模型和实际应用中引入的新问题。 这些未来的机遇表明尚未充分应对的挑战，因此未来需要付出更多努力。
• 丰富的资源。 我们的调查还提供了大量的开源异常检测算法、公共数据集、合成数据集生成技术以及常用的评估指标，以推动图形异常检测的最新技术发展。 这些已发布的资源为未来的研究提供了基准数据集和基线。
• 新的分类法。 我们针对图形或图形数据库中存在的不同类型的异常（即节点、边、子图和图形）组织了这项调查。 我们还指出了不同类型的图形异常之间的异同。
本次调查的其余部分安排如下。 在第 2 节中，我们提供了有关不同类型设置的预备知识。 从第 3 节到第 9 节，我们分别回顾了用于检测异常节点、边、子图和图的现有技术。 在第 10 节中，我们首先提供了一组已发布的图形异常检测算法和数据集，然后总结了常用的评估指标和合成数据生成策略。 我们在第 11 节中强调了关于深度学习在图异常检测中的 12 个未来方向，并在第 12 节中总结了我们的调查。附录 B 中给出了我们调查的具体分类。
2 预备知识
在本节中，我们提供了主要用于节点/边缘/子图级异常检测的不同类型图的定义（第 3 节至第 7 节）。 为了保持一致性，我们遵循现有作品 [25]、[48]、[52] 中图的常规分类，并将它们分为静态图、动态图和图数据库（static graphs,dynamic graphs,and graph databases）。 除非另有说明，以下章节中提到的所有图表均为静态图表。 同时，由于图级异常检测在第 13 页的讨论较远，为了增强可读性，图数据库的定义在第 8 节。
定义 1（普通图Plain Graph）中给出了更接近材料的定义。 静态普通图 G = {V,E} 包含一个节点集 V = {vi}n1 和一个边集 E = {ei,j} 其中 n 是节点数，ei,j = (vi,vj) 表示 节点 vi 和 vj 之间的边。 邻接矩阵 A = [ai,j]n×n 恢复图结构，其中如果节点 vi 和 vj 相连，则 ai,j = 1，否则 ai,j = 0。
定义 2（属性图Attributed Graph）。 静态属性图G = {V,E,X}由节点集V、边集E和属性集X组成。在属性图中，图结构遵循定义1中的定义。属性矩阵X = [ xi]n×k由节点的属性向量组成，其中xi是与节点vi关联的属性向量，k是向量的维数。 此后，术语属性和特征可互换使用。
定义 3（动态图Dynamic Graph）。 动态图 G(t) = {V (t),E(t),Xv(t),Xe(t)} 包含随时间变化的节点和边。 V(t)为图中特定时间步t的节点集，E(t)为对应的边集，Xv(t)和Xe(t)为时间步t的节点属性矩阵和边属性矩阵 在图表中（如果存在）。
定义 4（图形数据库）。 图数据库 G = {Gi = (Vi,Ei,Xv(i),Xe(i))}Ni=1 包含 N 个单独的图。 这里，每个图 Gi 由一个节点集 Vi 和一个边集 Ei 组成。Xv(i)和Xe(i)为属性图Gi的节点属性矩阵和边属性矩阵。
实际上，节点或边也可能与数字或分类标签相关联以指示它们的类别（例如，正常或异常）。 当标签信息可用/部分可用时，可以有效地训练监督/半监督检测模型。
3 异常节点检测（ANOS ND）
异常节点通常被认为是与其他节点明显不同的单个节点。 在现实世界的应用中，这些节点通常代表单独出现的异常对象，例如计算机网络中的单个网络入侵者、在线社交网络中的独立欺诈用户或社交媒体上的特定假新闻。 在本节中，我们特别关注静态图中的异常节点检测。 动态图的评论可以在第 4 节中找到。第 4 节末尾的表 2 提供了对 ANOS ND 审查的技术的总结。
在检测静态图中的异常节点时，异常节点与常规节点之间的差异主要来自图的结构信息和节点/边的属性[41]，[72]-[74]。 给定静态图的先验知识（即社区结构、属性），异常节点可以进一步分为以下三类：
• 全局异常只考虑节点属性。 它们是具有与图中所有其他节点显着不同的属性的节点。
• 结构异常只考虑图的结构信息。 它们是具有不同连接模式（例如，连接不同社区，与其他社区形成密集链接）的异常节点。
• 社区异常同时考虑了节点属性和图形结构信息。 它们被定义为与同一社区中的其他节点相比具有不同属性值的节点。
正在上传…重新上传取消
在图 3 中，节点 14 是一个全局异常，因为它的第 4 个特征值为 1，而图中所有其他节点对应的特征值为 0。 节点 5、6 和 11 被识别为结构异常，因为它们与其他社区有联系，而其社区中的其他节点不形成跨社区链接。 节点 2 和 7 是社区异常，因为它们的特征值与所属社区中的其他节点不同。
3.1 普通图上的 ANOS ND
普通图专用于表示现实世界网络中的结构信息。 为了检测普通图中的异常节点，图结构已从各个角度得到广泛利用。 在这里，我们首先总结了具有代表性的传统非深度学习方法，然后是最近的基于表示学习的高级检测技术。
3.1.1 传统的非深度学习技术
在深度学习和其他最先进的数据挖掘技术取得最新进展之前，传统的非深度学习技术已广泛应用于许多现实世界的网络中，以识别异常实体。 这些技术背后的一个关键思想是将图异常检测转化为传统的异常检测问题，因为具有丰富结构信息的图数据不能由传统检测技术（仅针对表格数据）直接处理。 为了弥合差距，许多方法 [38]、[75]、[76] 使用与每个节点相关的统计特征（例如进/出度）来检测异常节点。
例如，OddBall [38] 使用从每个节点及其 1-hop 邻居中提取的统计特征（例如，1-hop 邻居和边缘的数量、边缘的总权重）来检测特定的结构异常：1）形成 近集团或星形的局部结构； 2) 与邻居的链接很重，总权重非常大； 或 3) 与其中一个邻居有一个单一的主导重链接。
通过适当选择统计特征[HZ2] ，异常节点可以根据其偏离的特征模式来识别。 但是，在实际场景中，很难从大量候选特征中选择最合适的特征，领域专家总是可以设计新的统计数据，例如边的最大/最小权重。 因此，这些技术通常会为评估最重要的特征带来高昂的成本，并且不能有效地捕获结构信息。
3.1.2 基于网络表示的技术
为了从图结构中获取更多有价值的信息用于异常检测，网络表示技术得到了广泛的应用。 通常，这些技术将图结构编码到嵌入的向量空间中，并通过进一步分析识别异常节点。 胡等。 [77]，例如，提出了一种有效的嵌入方法来检测与许多社区相关的结构异常。 它首先采用图形划分算法（例如，METIS [78]）将节点分组为 d 个社区（d 是用户指定的数字）。 然后，该方法采用专门设计的嵌入过程来学习可以捕获每个节点和 d 个社区之间的链接信息的节点嵌入。 将节点 i 的嵌入表示为 Zi = {z1 i,···,zd i } ，该过程根据节点 i 对社区 c 的成员资格初始化每个 zc i ∈ Zi（如果节点 i 属于社区，则 zc i= 1 √2 ; otherwise, 0.) 并优化节点嵌入，使得直接链接的节点具有相似的嵌入，而未连接的节点具有不同的嵌入。
在生成节点嵌入后，节点 i 和 d 社区之间的链接信息被量化以用于进一步的异常检测分析。 对于给定的节点 i，此类信息表示为：
正在上传…重新上传取消
其中 N B(i) 包括节点 i 的邻居。 如果 i 与社区 c 有很多联系，那么对应维度 yc i 中的值就会很大。
在最后一步，Hu 等人。 [77]制定了一个评分函数来分配异常分数，计算如下：
正在上传…重新上传取消
正如预期的那样，结构异常在连接到不同社区时获得更高的分数。 事实上，给定一个预定义的阈值，得分高于阈值的节点被识别为异常。
迄今为止，许多普通网络表示方法，如 Deepwalk [79]、Node2Vec [80] 和 LINE [81] 已经显示出它们在生成节点表示方面的有效性，并被用于异常检测性能验证 [82]-[85]。 通过将传统的异常检测技术（例如基于密度的技术 [86] 和基于距离的技术 [87]）与节点嵌入技术相结合，可以根据其可区分的位置（即低密度区域或远离目标区域）识别异常节点。 大多数）在嵌入空间中。
3.1.3 基于强化学习的技术
强化学习 (RL) 在解决现实世界决策制定问题方面的成功引起了异常检测社区的极大兴趣。 检测异常节点很自然地可以看作是一个决定节点属于哪个类的问题——异常的还是良性的。 作为一般选择性收获任务的一个特殊场景，异常节点检测问题可以通过最近在[88]中的一项工作来解决，该工作直观地将强化学习和网络嵌入技术结合起来进行选择性收获。 所提出的模型 NAC 在没有任何人为干预的情况下使用标记数据进行训练。 具体来说，它首先选择一个由部分观察到的节点和边组成的种子网络。 然后，从种子网络开始，NAC 采用强化学习来学习节点选择计划，以便识别未发现区域中的异常节点。 这是通过奖励选择计划来实现的，这些选择计划可以选择具有更高收益的标记异常。 通过离线训练，NAC会学习到最优/次优的异常节点选择策略，逐步发现未发现图中的潜在异常。
3.2 属性图上的 ANOS ND
除了结构信息，真实世界的网络还包含丰富的节点附属属性信息 [89]，[90]。 这些属性提供了关于真实对象的补充信息，并与图形结构一起，现在可以检测到更多隐藏的异常。 为了清楚起见，我们在本次调查中区分深度神经网络和图神经网络。 我们回顾了基于深度神经网络 (Deep NN) 的技术、基于 GCN 的技术和基于强化学习的 ANOS ND 技术，如下所示。 由于页面限制，其他现有工作包括传统的非深度学习技术、基于 GAT [91] 的技术、基于 GAN 的技术和基于网络表示的技术在附录 C [HZ3] 中进行了调查。
3.2.1 基于深度神经网络的技术
自动编码器和深度神经网络等深度学习模型为学习数据表示提供了坚实的基础。 采用这些模型进行更有效的异常节点检测最近引起了极大的兴趣。
例如，Bandyopadhyay 等人。 [82] 开发了一个无监督的深度模型 DONE，用于检测属性图中的全局异常、结构异常和社区异常。 具体来说，这项工作为每个节点测量了三个异常分数，这些分数表示以下情况的可能性：1）它与不同社区中的节点具有相似的属性（oai）； 或 2) 它与其他社区 (osi) 联系； 或 3）它在结构上属于一个社区，但属性遵循另一个社区的模式（ocom i）。 如果一个特定的节点表现出这些特征中的任何一个，那么它就会被分配一个更高的分数并且是异常的。
正在上传…重新上传取消
Fig.4 ANOS ND on attributed graphs——基于深度神经网络的方法。 例如，自动编码器用于捕获图结构和节点属性。 使用专门设计的异常感知损失函数，异常分数将分配给每个节点，并且前 k 个节点是异常（例如，节点 9、1 和 2 在 top-3）。
为了获得这些分数，DONE 采用了两个独立的自动编码器 (AE)，即结构 AE 和属性 AE，如图 4 所示。两者都是通过最小化重建误差和保持假设连接节点具有相似表示的同质性来训练的 在图中。 在训练 AE 时，表现出预定义特征的节点很难重建，因此会引入更多的重建错误，因为它们的结构或属性模式不符合标准行为。[HZ4] 因此，应减轻异常的不利影响，以实现最小化错误。 据此，DONE专门设计了一个具有五个项的异常感知损失函数：LRecs str、LRecs attr、LHom str、LHom attr和LCom。 LResc str 和 LResc attr 分别是结构重构误差和属性重构误差，可以写成：
正在上传…重新上传取消
其中 N 是节点数，ti 和 xi 存储节点 i 的结构信息和属性，ti尖 和 xi 尖是重构向量。 LHom str 和 LHom attr 被提出来保持同质性，它们被表述为：
正在上传…重新上传取消
正在上传…重新上传取消
其中 hsi 和 hai 分别是从结构 AE 和属性 AE 中学习到的潜在表示。 LCom 对两个 AE 为每个节点生成的表示提出了进一步的限制，使得图结构和节点属性相互补充。 它被表述为：
正在上传…重新上传取消
通过最小化这些损失函数的总和，量化每个节点的异常得分，将得分较高的top-k节点识别为异常。
图卷积神经网络 (GCNs) [92] 由于能够捕获图结构中的综合信息，因此在许多图数据挖掘任务（例如链接预测、节点分类和推荐）中取得了不错的成功 和节点属性。 因此，许多异常节点检测技术开始研究 GCN。 图 5 说明了这一行现有工作的总体框架。
正在上传…重新上传取消
图 5：属性图上的 ANOS ND——基于 GCN 的方法。 节点表示是通过 GCN 层生成的。 然后根据它们的重建损失（̈）或嵌入空间中的嵌入分布（≠）检测异常。
在[93]中，丁等人。 使用结构和属性的网络重建误差测量每个节点的异常分数。 所提出的方法 DOMINANT 包括三部分，即图卷积编码器、结构重构解码器和属性重构解码器。 图卷积编码器通过多个图卷积层生成节点嵌入。 结构重构解码器倾向于从学习到的节点嵌入中重构网络结构，而属性重构解码器则重构节点属性矩阵。 训练整个神经网络以最小化以下损失函数：
正在上传…重新上传取消
其中α为系数，A表示图的邻接矩阵，RS和RA分别量化图结构和节点属性的重构误差。 训练完成后，根据每个节点对总重构误差的贡献，为每个节点分配一个异常分数，计算公式为：
正在上传…重新上传取消
其中ai和xi是节点i的结构向量和属性向量，ai和xi是它们对应的重构向量。 然后根据节点的异常得分降序对节点进行排序，top-k节点被识别为异常。
为了提高异常节点检测的性能，Peng 等人后来的工作。 [94] 进一步探索来自多个属性视图的节点属性以检测异常。 多个属性视图用于描述对象的不同视角 [95]-[97]。 例如，在在线社交网络中，用户的人口统计信息和发布的内容是两种不同的属性视图，它们分别表征个人信息和社交活动。 研究不同观点的潜在直觉是，异常可能在一种观点中看似正常，但在另一种观点中却异常。
为了捕获这些信号，所提出的方法 ALARM 应用多个 GCN 对不同视图中的信息进行编码，并采用它们的加权聚合来生成节点表示。 该模型的训练策略与 DOMINANT [93] 类似，其目标是最小化网络重建损失和属性重建损失，可以表述为：
正在上传…重新上传取消
其中γ是平衡误差的系数，Aij是邻接矩阵A中坐标(i,j)处的元素，Aij是重构邻接矩阵中对应的元素。A,X是原始节点特征矩阵，̃X 是重建的节点特征矩阵。 最后，ALARM采用与[93]相同的评分函数，top-k最高分的节点是异常的。
Li 等人没有使用重建错误来发现意想不到的节点。 [98] 提出 SpecAE 通过密度估计方法、高斯混合模型 (GMM) 来检测全局异常和社区异常。 可以仅通过考虑节点属性来识别全局异常。 对于社区异常，由于其对邻居的独特属性，需要共同考虑结构和属性。 因此，SpecAE 研究了一个图卷积编码器来学习节点表示并通过反卷积解码器重建节点属性。 然后使用节点表示来估计 GMM 中的参数。 由于全局和社区异常的偏离属性模式，正常节点在GMM中被期望表现出更大的能量，概率最低的k个节点被认为是异常。
在 [99] 中，Wang 等人。 开发了一种新颖的检测模型，可以使用欺诈者的关系和特征来识别欺诈者。 他们提出的方法 Fdgars 首先将在线用户的评论和访问过的项目建模为他们的特征，然后根据这些特征识别一小部分重要的欺诈者。 在最后一步中，使用用户用户网络、用户特征和标记用户以半监督方式训练 GCN。 经过训练，该模型可以直接标注未见过的用户。
最近的一项工作 GraphRfi [100] 也探索了将异常检测与其他下游图分析任务相结合的潜力。 它旨在利用异常检测来识别恶意用户，并通过减轻这些不可信用户的影响，为良性用户提供更准确的建议。 具体来说，部署了一个 GCN 框架，将用户和项目编码到一个共享的嵌入空间中进行推荐，并通过一个额外的神经随机森林使用他们的嵌入将用户分类为欺诈者或正常用户。 对于用户和项目之间的评分预测，该框架通过为训练损失分配较少的权重来减少可疑用户的相应影响。 同时，用户的评分行为也为欺诈检测提供了辅助信息。 这两个应用程序（异常检测和推荐）之间的互利关系表明了多个图学习任务之间信息共享的潜力。
3.2.3 基于强化学习的技术
与 NAC 相比，Ding 等人。 [101] 研究了强化学习在属性图中异常节点检测的用途。 他们提出的算法 GraphUCB 对属性信息和结构信息都进行了建模，并继承了上下文多臂强盗技术 [102] 的优点以输出潜在的异常。 通过根据节点的特征将节点分组到 k 个簇中，GraphUCB 形成了一个 k-armed bandit 模型，并测量选择特定节点作为专家评估的潜在异常的收益。 通过专家对预测异常的反馈，不断优化决策策略。 最终，可以选择最有潜力的异常。
4 动态图上的 ANOS ND
现实世界的网络可以建模为动态图来表示不断发展的对象和它们之间的关系。 除了结构信息和节点属性外，动态图还包含丰富的时间信号[103]，例如图结构和节点属性的演化模式。 一方面，这些信息本质上使动态图上的异常节点检测更具挑战性。 这是因为动态图通常会引入大量数据，并且还应捕获时间信号以进行异常检测。 但是，另一方面，他们可以提供有关异常的更多详细信息 [25]、[48]、[104]。 事实上，在每个时间戳的图形快照中，一些异常可能看起来是正常的，并且只有当考虑到图形结构的变化时，它们才会变得明显。 在本节中，我们回顾了基于网络表示的技术和基于 GAN 的技术，如下所示。 附录 D 回顾了来自传统非深度学习方法的相关技术。
4.1 基于网络表示的技术
遵循将图编码到嵌入空间的研究路线，然后执行异常检测，动态网络表示技术在最近的工作中得到了研究。 具体来说，在 [84] 中，Yu 等人。 提出了一种灵活的深度表示技术，称为 NetWalk，用于仅使用结构信息检测动态（普通）图中的异常节点。 它采用自动编码器来学习初始图上的节点表示，并在添加新边或删除现有边时增量更新它们。 为了检测异常，NetWalk 首先执行流式 k 均值聚类算法 [122] 以将当前时间戳中的现有节点分组到不同的集群中。 然后，根据每个节点到 k 个集群的最近距离来衡量每个节点的异常分数。 当更新节点表示时，相应地重新计算聚类中心和异常分数。
4.2 GAN Based Techniques
在实践中，异常检测面临着地面实况异常短缺的巨大挑战。 因此，许多研究工作已经投入到对异常或规则对象的特征进行建模，以便可以有效地识别异常。 在这些技术中，生成对抗网络（GAN）[123]因其在捕获真实数据分布和生成模拟数据方面的出色表现而受到广泛关注。
受“坏”GAN [124] 最近进展的推动，Zheng 等人。 [121] 仅使用观察到的良性用户属性来规避欺诈者检测问题。 基本思想是抓住正常的活动模式并检测行为明显不同的异常情况。 所提出的方法 OCAN 首先使用他们的历史社会行为（例如，历史帖子，帖子的 URL）提取良性用户的内容特征，为此该方法被归类为动态类别。 采用基于长短期记忆 (LSTM) 的自动编码器 [125] 来实现这一点，并且假设良性用户和恶意用户位于特征空间中的不同区域。 接下来，训练了一个由生成器和鉴别器组成的新型单类对抗网络。 具体来说，生成器生成位于良性用户相对低密度区域的互补数据点。 因此，鉴别器旨在将生成的样本与良性用户区分开来。 训练后，良性用户的区域被判别器学习，因此可以根据他们的位置识别异常。
NetWalk [84] 和 OCAN [121] 都很有前途地解决了异常节点检测问题，但是，它们分别只考虑了结构或属性。 通过分析这两个方面的静态图异常检测技术的成功，当动态图中的结构和属性信息被联合考虑时，可以预见增强的检测性能。 因此，我们在第 11 节中强调了未来工作的这个未开发区域。
5 异常边缘检测（ANOS ED）
与针对单个节点的异常节点检测相比，ANOS ED旨在识别异常链接。 这些链接通常会告知真实对象之间的意外或异常关系 [126]，例如图 1 中所示的欺诈者与良性用户之间的异常交互，或计算机网络中攻击者节点与良性用户机器之间的可疑交互。 按照前面的分类法，在本节中，我们回顾了静态图的最先进的 ANOS ED 方法，第 6 节总结了动态图的技术。 表 3 中提供了摘要。本节包括基于深度 NN、GCN 和网络表示的方法。 非深度学习技术在附录 E 中进行了回顾。
5.1 基于深度神经网络的技术
与基于深度神经网络的 ANOS ND 技术类似，自动编码器和全连接网络 (FCN) 也已用于异常边缘检测。 例如，欧阳等人。 [127] 通过深度模型对边缘的分布进行建模来解决这个问题，以识别最不可能出现异常的现有边缘（如图 6 所示）。 每个边缘节点通过 FCN 层成为低维向量的概率，并通过自身及其邻居向量的平均聚合生成节点 u 的表示。 接下来，将节点表示馈入另一个 FCN 以估计 P (v|u,N (u))。 预测表示为 ^ P (v|u,N(u)) = Softmax(W·H(u))|v，其中 W 表示可训练参数，H(u) 是 u 的表示。 UGED 的训练方案旨在通过基于交叉熵的损失函数 CE( ^ P (v|u,N (u)),v) 最大化现有边的预测。 训练后，使用 1 − P (v|u,N (u)) 和 1 − P (u|v,N (v)) 的平均值为每条边分配异常分数。 因此，具有较低概率的现有边将获得较高的分数，并且前 k 个边被报告为异常。
5.2 基于 GCN 的技术
沿着边分布建模的思路，一些研究利用 GCN 来更好地捕获图结构信息。 段等。 [128] 证明训练数据中存在异常边缘会阻止传统的基于 GCN 的模型捕获真实的边缘分布，从而导致检测性能欠佳。 这从本质上提出了一个问题：为了获得更好的检测性能，节点嵌入过程应该减轻异常边缘的负面影响，但是这些边缘是使用学习到的嵌入来检测的。 为了解决这个问题，所提出的方法 AANE 通过在训练期间迭代更新嵌入和检测结果来共同考虑这两个问题。
在每次训练迭代中，AANE 通过 GCN 层生成节点嵌入 Z 并学习指示矩阵 I 以发现潜在的异常边缘。 给定具有邻接矩阵 A 的输入图 G，如果 ^ Auv < meanv′∈Nu ^ Auv′ − μ · stdv′∈Nu ^ Auv′，则 I 中的每一项 Iuv 为 1，否则为 0。 这里，Auv 是预测的节点 u 和 v 之间的链接概率，它被计算为 u 和 v 的嵌入的双曲正切，μ 是一个预定义的阈值。 通过这种方式，当边缘 uv 的预测概率小于与节点 u 关联的所有链接的平均值一个预定义的阈值时，它被识别为异常。 AANE 的总损失函数包含两部分：异常感知损失 (Laal) 和调整后的拟合损失 (Lafl)。 提出Laal对链路预测结果和指示矩阵I进行惩罚，使得异常边在I中被标记为1时具有较低的预测概率。其公式为：
正在上传…重新上传取消
其中 B 是一个调整后的邻接矩阵，它从输入邻接矩阵 A 中移除所有预测的异常。通过最小化这两个损失，AANE 将概率最低的前 k 个边识别为异常。
5.3 基于网络表示的技术
对于 ANOS ED 不使用节点嵌入，直接从图中学习的边表示对于区分异常也是可行的。 如果边缘表示很好地保留了节点对之间的图形结构和交互内容（例如，在线社交网络中的消息，引文网络中的合着论文），则可以预期增强的检测性能。 迄今为止，一些研究，如 Xu 等人。 [129]，在生成边缘表示方面已经显示出有希望的结果。 尽管它们不是专门为图形异常检测而设计的，但它们指出了一种潜在的 ANOS ED 方法。 这在第 11.1 节中被强调为一个潜在的未来方向。
6 动态图上的 ANOS ED
动态图在反映边随时间的出现/消失方面非常强大 [130]。 可以通过对图形结构的变化进行建模并捕获每个时间步的边缘分布来区分异常边缘。 本节回顾了动态图上最近的 ANOS ED 方法。
6.1 基于网络表示的技术
基于网络表示的技术的直觉是将动态图结构信息编码为边缘表示，并应用上述传统异常检测技术来发现不规则边缘。 这非常简单，但在图结构演化时生成/更新信息性边缘表示仍然存在重大挑战。 为了缓解这一挑战，ANOS ND 模型 NetWalk [84] 还能够检测动态图中的异常边缘。 沿着基于距离的异常检测路线，NetWalk 使用节点嵌入将边缘编码共享到潜在空间中，并根据它们到潜在空间中最近的边缘簇中心的距离来识别异常。 实际上，Netwalk 生成边表示作为源节点和目标节点表示的 Hadamard 乘积，表示为：
正在上传…重新上传取消。 当新边到达或现有边消失时，根据每个时间戳的临时图中的随机游走来更新节点和边表示，然后重新计算边簇中心和边异常分数。 最后，边缘簇的前 k 个最远边缘被报告为异常。
6.2 基于 GCN 的技术
尽管 NetWalk 能够检测动态图中的异常，但它只是简单地更新边表示，而没有考虑长/短期节点和图结构的演化模式。 为了更有效的 ANOS ED，Zheng 等人。 [131] 直观地结合时间、结构和属性信息来测量动态图中边缘的异常性。 他们提出了一个半监督模型，AddGraph，它包括一个 GCN 和门控循环单元（GRU），并注意 [132] 以分别从每个时间戳中的时间图中捕获更具代表性的结构信息以及它们之间的依赖关系。
正在上传…重新上传取消
Fig 7：动态图上的 ANOS ED——基于 GCN 的方法。 GCN 用于从每个时间戳的时间图中学习节点嵌入。 基于注意力的 GRU 使用节点嵌入和先前的隐藏状态生成当前隐藏状态。 边缘评分函数，例如 FCN，学习分配异常分数，并将前 k 个边缘描述为异常。
在每个时间戳 t，GCN 在时间 t−1 取输出隐藏状态 (Ht−1) 生成节点嵌入，之后 GRU 从节点嵌入和先前隐藏状态的注意力中学习当前隐藏状态 Ht（如图所示 在图 7 中）。 在得到所有节点的隐藏状态 Ht 后，AddGraph 根据与其关联的节点为时态图中的每条边分配一个异常分数。 拟议的异常评分函数公式为：
正在上传…重新上传取消
其中u和v是对应的节点，w是边的权重，a和b是可训练参数，β和μ是超参数，σ(·)是非线性激活函数。 为了学习 a 和 b，Zheng 等人。 进一步假设动态图中所有存在的边在训练阶段都是正常的，将不存在的边采样为异常。 具体来说，它们形成的损失函数为：
正在上传…重新上传取消
其中εt是边集，(u′,v′)是在时间戳t采样的不存在的边，λ是超参数，Lreg对模型中所有可训练参数进行正则化。 训练后，评分函数根据等式(13)为测试数据分配较高的异常分数，从而识别测试数据中的异常边缘。
7 异常子图检测（ANOS SGD）
在现实生活中，异常也可能与他人勾结并集体行动以获取利益。 例如，在线评论网络中的欺诈用户组，如图 1 所示，可能会发布误导性评论来宣传或玷污某些商品。 当这些数据被表示为图时，异常及其相互作用通常会形成可疑的子图，并提出了 ANOS SGD 来将它们与良性区分开来。
与单个和独立的图异常（即单个节点或边）不同，可疑子图中的每个节点和边可能都是正常的。 然而，当它们被视为一个集合时，它们却显得异常。 此外，这些子图的大小和内部结构也各不相同，使得异常子图检测比 ANOS ND/ED [133] 更具挑战性。 尽管为规避这个问题付出了巨大的努力，但深度学习技术在过去五年才开始解决这个问题。 作为参考，附录 F 中简要介绍了基于传统非深度学习的技术，第 9 节末尾的表 3 中提供了针对 ANOS SGD 审查的技术总结。
由于异构图在表示之间的复杂关系方面具有灵活性 不同种类的真实物体，最近的几项工作利用深度网络表示技术通过 ANOS SGD 检测现实世界的异常。 例如，Wang 等人。 [134] 将在线购物网络表示为二分图（一种特定类型的异构图，具有两种类型的节点和一种类型的边），其中用户是源节点，项目是汇节点。 然后根据这些图中形成的可疑密集块检测欺诈组。
正在上传…重新上传取消
Fig 8 ANOS SGD。 现实世界的网络通常表示为二分图，以反映两种不同类型对象之间的交互。 为了检测 ANOS SGD，分别使用两个自动编码器（通过共享损失函数链接）嵌入源节点和汇节点。 通过在嵌入空间中应用密集区域检测算法来识别异常子图。
王等。 [134] 旨在学习用户的异常感知表示，使得同一组中的可疑用户将靠近向量空间，而良性用户将远离（如图 8 中的嵌入空间所示）。 根据观察到属于一个欺诈组的用户节点更有可能连接到相同的项目节点，开发的模型 DeepFD 测量两个用户行为的相似性，simij，作为项目在所有项目中共享的百分比 他们已经审查了。 然后通过传统的自动编码器生成用户表示，该自动编码器使用三个损失进行训练并遵循编码解码过程。 第一个损失是重建损失 Lres，它确保可以使用学习到的用户表示和项目表示正确地重建二分图结构。 第二项 Lsim 保留了学习到的用户表示中的用户相似度信息。 也就是说，如果两个用户有相似的行为，他们的表示也应该相似。 这种损失被表述为：
正在上传…重新上传取消
其中 m 是用户节点的数量，̂ simij 使用 RBF 内核或其他替代方法测量用户 i 和 j 的表示的相似性。 第三个损失 Lreg 正则化所有可训练参数。 最后，使用 DBSCAN [135] 检测可疑的密集块，这些块有望在向量空间中形成密集区域。
另一项工作 FraudNE [136] 也将在线评论网络建模为二分图，并按照密集块检测原则进一步检测恶意用户和相关的被操纵项目。 与 DeepFD 不同，FraudNE 渴望将两种类型的节点编码到一个共享的潜在空间中，其中属于同一密集块的可疑用户和项目彼此非常接近，而其他节点则均匀分布（如图 8 所示）。 FraudNE采用两种传统的自编码器，即源节点自编码器和汇节点自编码器，分别学习用户表示和物品表示。 两个自动编码器都经过训练以共同最小化其相应的重建损失和共享损失函数，总损失可以表示为：
LF raudNE = Lsource res + Lsink res + αLshare + ηLreg,(16)
其中 α 和 η 是超参数， Lreg 正则化所有可训练参数。 具体来说，重建损失（即 Lsource res 和 Lsink res ）衡量输入用户/项目特征（从图结构中提取）与其解码特征之间的差距。 共享损失函数被提出来限制表示学习过程，使得每个链接的用户和项目对获得相似的表示。 由于DBSCAN[135]算法便于应用于稠密区域检测，FraudNE也使用它来区分可疑用户和物品形成的稠密子图。 迄今为止，只有少数作品致力于将深度学习技术用于 ANOS SGD。 然而，随着对子图表示学习的研究兴趣不断增强，我们鼓励对 ANOS SGD 进行更多研究，并在第 11.1 节中强调这是一个潜在的未来。
8 ANOMALOUS GRAPH DETECTION (ANOS GD)
除了异常节点、边和子图，图异常也可能在图集/数据库中显示为异常图。 通常，图形数据库定义为：
定义 4（图形数据库）。 图数据库 G = {Gi = (Vi,Ei,Xv(i),Xe(i))}Ni=1 包含 N 个单独的图。 这里，每个图 Gi 由一个节点集 Vi 和一个边集 Ei 组成。Xv(i)和Xe(i)为属性图Gi的节点属性矩阵和边属性矩阵。
这种图级 ANOS GD 旨在检测与其他图明显偏离的单个图。 ANOS GD 的一个具体例子是异常分子检测。 当化合物表示为分子/化学图，其中原子和键表示为节点和边 [137]、[138] 时，可以识别不寻常的分子，因为它们对应的图具有不同于其他图的结构和/或特征。 脑部疾病检测是另一个例子。 可以通过依次分析衰老不同阶段的脑图动态并在特定时间戳找到不一致的快照来诊断脑部疾病。
先前审查的技术（即 ANOS ND/ED/SGD）与 ANOS GD 不兼容，因为它们专用于检测单个图中的异常，而 ANOS GD 旨在检测图级异常。 这个问题通常通过以下方式解决：1）使用图核 [139] 测量图的成对接近度； 2）检测由异常节点组产生的异常图形信号的出现[140]； 或 3) 使用频繁的图案 [63] 对图形进行编码。 然而，这些方法都不是基于深度学习的。 在撰写本文时，很少有人对具有深度学习的 ANOS GD 进行研究。 因此，这在第 11.1 节中被强调为潜在的未来方向。
8.1 基于 GNN 的技术
受 GNN 在各种图分类任务中的成功启发，ANOS GD 的最新作品使用 GNN 将给定图数据库中的单个图分类为正常/异常。 具体来说，Dou 等人。 [141] 通过将新闻建模为树结构传播图，将假新闻检测转化为 ANOS GD 问题，其中根节点表示新闻片段，子节点表示与根新闻交互的用户。 他们的端到端框架 UPFD 分别通过文本嵌入模型（例如 word2vec、BERT）和用户参与嵌入过程为新闻片段和用户提取两个嵌入。 对于每个新闻图，它的潜在表示是这两个嵌入的扁平化连接，它被输入以训练带有新闻标签的神经分类器。 被训练模型标记为伪造的相应传播图被视为异常。
Zhao 和 Akoglu [142] 的另一项代表性工作采用 GIN 模型和一类分类（即 DeepSVDD [143]）损失以端到端的方式训练图级异常检测框架。 对于图数据库中的每个单独的图，其图级嵌入是通过对其节点的节点级嵌入应用均值池生成的。 如图 9 所示，如果图位于学习到的超球面之外，则该图最终被描述为异常。
正在上传…重新上传取消
8.2 基于网络表示的技术
也可以将一般图级网络表示技术应用于 ANOS GD。 利用这些方法，检测问题被转化为嵌入空间中的常规异常值检测问题。 与可以端到端方式检测图形异常的基于 D(G)NN 的技术相比，采用这些表示技术进行异常检测是两阶段的。 首先，使用图级表示技术（例如 Graph2Vec [144]、FGSD [145]）将数据库中的图编码到共享的潜在空间中。 然后，通过现成的异常值检测器测量每个单个图的异常性。 本质上，这种方法涉及在两个阶段对现有方法进行配对，但是，这些阶段彼此断开连接，因此，检测性能可能不佳，因为嵌入相似性不一定是为了异常检测而设计的。
9 动态图上的 ANOS GD
对于动态图环境，图级异常检测努力识别异常图快照/时态图。 与动态图上的 ANOS ND 和 ED 类似，给定一系列图，可以根据异常图的异常演化模式、异常图级特征或其他特征来区分异常图。
正在上传…重新上传取消
动态图上的 ANOS GD。 对于动态图中的每个图快照，LSTM 自动编码器使用其邻接矩阵和先前的隐藏状态生成其隐藏状态。 通过超球体学习，学习了一个具有质心a和半径r的超球体，使得异常快照位于外部。
为了导出每个图快照snapshot/时态图的特征，常用的 GNN、LSTM 和自动编码器是可行的。 例如，腾等人。 [147] 应用 LSTMautoencoder 来检测异常图快照，如图 10所示。在他们提出的模型 DeepSphere 中，动态图被描述为三阶张量的集合，{Xk,k = 1,2...} 其中每个 X ∈ RN×N×T，以及沿 时间维度是图快照的邻接矩阵。 为了识别异常张量，DeepSphere 首先使用 LSTM 自动编码器将每个图形快照嵌入到潜在空间中，然后利用学习超球体的单类分类目标 [143]，以便覆盖正常快照，异常快照位于外部。 LSTM 自编码器依次将邻接矩阵作为输入，并尝试通过训练重构这些输入矩阵。 超球体是通过单个神经网络层学习的，其目标函数表示为：
正在上传…重新上传取消
其中 zk 是 LSTM 自编码器生成的潜在表示，a 是超球体的质心，r 为半径，k为异常值惩罚[HZ6] （k = ‖zk −a‖2 −r2），m为训练图快照数，γ为超参数。 DeepSphere 的整体目标函数表示为： L = Lh + λLres,(18) 其中 Lres 是 LSTM 自编码器的重构损失。 训练完成后，如果给定的未见数据 X 的嵌入位于半径为 r 的已学习超球体之外，则 DeepSphere 将其视为异常。
除了上面回顾的所有 ANOS ND、ED、SGD 和 GD 技术外，值得一提的是，对抗模型生成的扰动图用于攻击图分类算法或 GNN [149]-[151]，也可以被视为（ 内涵intensional）异常。 在扰动图中，节点和边被故意修改以偏离其他节点。 我们没有在本次调查中审查这些，因为它们的主要目的是攻击 GNN 模型。 这些方法背后的关键思想是攻击/扰动策略，该领域的研究很少关注检测或推理模块来识别扰动图或其子结构，即异常节点、边、子图或图。
10 已发布的算法和数据集
在图形异常检测的学术研究中，获取具有真实世界异常的开源实现和真实世界数据集绝非易事。 在这里，我们首先列出具有公开可用实现的已发布算法，然后我们提供一组公共基准数据集并总结常用的评估指标。 最后，由于现实世界数据集中缺乏标记异常，我们回顾了现有工作中使用的三种合成数据集生成策略。
10.1 已发布的算法
已发布的算法和模型实现有助于基线实验。 表 4 提供了已发布实现的摘要，概述了语言和平台、它们可以接受的图表以及代码存储库的 URL。
10.2 已发布的数据集
表 5 总结了最常用的数据集，根据其应用领域将它们分为不同的组。 值得注意的是，仅在 Enron、Twitter Sybil、Disney、Amazon、Elliptic 和 Yelp 数据集中提供了带有标记异常的异常基本事实。 DBLP、UCI 消息、Digg、维基百科和纽约市出租车数据集的详细信息没有给出，因为这些公共数据集仅包含原始数据，并且在大多数现有作品中，它们被进一步处理以构建不同的图（例如，同构图 ，二分图）。 众所周知的引文网络通常用于通过向其中注入异常来生成合成数据集——异常的数量因研究而异。
除了这些异常检测数据集，表 5 还列出了八个图分类数据集。 如 10.3 所述，通过下采样，这些数据集可以用作评估异常检测性能的基准。
10.3 合成数据集的生成
鉴于真实异常的罕见性，许多研究人员使用合成数据集来研究他们提出的方法的有效性[83]、[171]、[172]。 通常，这些数据集可以分为以下几类：
• 注入异常的合成图。 遵循这一策略，创建图形来模拟真实世界的网络。 所有的节点和边都是用众所周知的基准手动添加的（例如，Lanchinetti-FornunatoRadicchi (LFR) [173]、small-world [174]、无标度图 [175]）。 一旦建成，地面真实异常就会被植入网络中。 对于生成预期网络规模的可行性，以前的工作主要使用该策略来验证其在异常检测中的基本直觉。
• 注入异常的真实世界数据集。 这些数据集是基于真实世界的网络构建的。 特别地，异常是通过修改拓扑结构或现有节点/边/子图的属性，或者通过插入不存在的图对象来创建的。
• 下采样图分类数据集。 广泛使用的图分类数据集（例如 [142] 中的 NCI1、IMDB、ENZYMES）可以通过两个步骤轻松转换为适合异常检测的集合。 首先，选择一个特定的类及其数据记录来表示普通对象。 然后，其他数据记录以指定的下采样率被下采样为异常。 由此，生成的图异常检测数据集实际上是原始数据集的一个子集。 该策略最重要的优势在于没有修改任何单个数据记录。
10.4 评价指标
迄今为止，应用最广泛的异常检测性能评价指标包括准确率、准确率、召回率、F1-score和AUC-AP（Average Precision）。 它们的公式/描述在表 6 中给出。但是，需要使用一些新的评估指标进行更专门的分析以进一步进行性能检查，因为异常检测对不同的应用程序有不同的要求 [176]-[178]，例如，假阴性和假阴性 积极的。 例如，网络入侵防御系统对假阴性错误更敏感，而假阳性错误被认为相对无害。 这是因为应关闭任何有风险的连接以防止信息泄漏。 相比之下，其他应用程序更专注于误报，例如，在审计领域，公司通常会为审计员设置预算来查看标记的异常，并且他们希望精度高/误报率小，以便审计员的时间最好 用过的。 因此，在评估检测性能时，我们建议审查应用领域的具体要求，以便进行公平和适当的比较。 表 6：评估指标。 tp：真阳性； tn：真阴性； f p：误报； fn：假阴性。
11 未来方向
到目前为止，我们已经回顾了致力于图形异常检测的当代深度学习技术。 从我们的调查中可以明显看出，由于异常检测、图形数据的复杂性以及用于图形数据挖掘的深度学习技术的不成熟，仍然存在许多复杂的挑战。 另一个观察是，图异常检测中的深度学习技术仍然局限于相对较少的研究，其中大部分集中在异常节点检测上。 对于量规gauge,，只需比较表 2 和表 3 的长度。边缘、子图和图级异常检测显然受到的关注要少得多。 为了弥合差距并推动未来的工作，我们确定了深度学习图异常检测的 12 个未来研究方向。
11.1 异常边、子图和图检测
在现实世界的图中，异常还表现为对象之间的异常关系、异常组形成的子结构或异常图，称为异常边、子图和异常图。 分别作图。 正如我们在评论中指出的那样，现有的异常边缘/子图/图检测技术与各种应用领域（例如社交网络、计算机网络、金融网络）中对更高级解决方案的新兴需求之间存在巨大差距。 在检测异常边/子图/图时，所提出的方法应该能够利用图中包含的丰富信息来找到可以在特定应用中区分正常对象和异常的线索和特征。 通常，这涉及提取边/子图/图级特征，对这些特征的模式建模，并相应地测量异常。 然而，目前基于深度学习的图异常检测技术在这方面提出的努力很少。
机会：我们相信可以在异常边缘、子图和图检测方面做更多的研究工作，以了解它们在实际应用中的重要性。 这种差距的可能解决方案可能首先考虑应用领域并探索领域知识以找到补充线索作为这些问题的基础。 然后，受边缘、子图和图级表示学习 [129]、[179] 深度学习的最新进展的推动，可以做大量工作来学习异常感知嵌入空间，以便提取异常是可行的 异常的异常模式。 虽然这个方向看起来很简单，但真正的挑战在于具体的应用领域。 因此，领域知识、异常模式识别和异常感知深度学习技术应该同时实施。
11.2 动态图中的异常检测
动态图提供了强大的机制来捕获真实对象及其属性之间不断变化的关系。 它们不断变化的结构和属性信息固有地使异常检测在这些场景中非常具有挑战性，导致任务的两个主要问题。 一是考虑每个图快照在不同时间戳包含的时空信息，二是探索节点、边、子图和图的演化模式，以及它们与节点/边的交互 随时间变化的属性。 当这些挑战已经用成熟的解决方案解决时，检测技术将取得更好的效果。 机会：根据我们的观察，大多数基于深度学习的动态图异常检测技术都是建立在 DeepWalk [79]、GCN [92] 或其他为静态图直观设计的深度模型之上的。 这意味着其他信息，如属性 [180]、[181] 中的演变模式，未在检测任务中得到充分使用。 因此，我们可以为未来的研究确定以下方向。
• 使用动态图形挖掘工具。 作为一个热门的研究课题，用于动态图数据挖掘的深度学习[182]，[183]已经显示出它在支持动态图分析方面的有效性，例如节点聚类和图分类[60]。 可以预见未来会有更多的工作采用这些技术进行异常检测。
• 为异常检测提供可靠的证据。 动态图中丰富的结构、属性和时间信息是识别异常的宝贵资源。 除了当前工作中广泛使用的指标，例如节点对之间的连接爆发或连接突然消失，我们建议深入探索结构和属性的变化。 从这些研究中，我们可能会获得额外的信息来增强检测性能，例如异常属性的出现。
• 处理复杂的动态。 现实世界的网络总是在网络结构和节点属性上发生变化，但很少有研究解决这种情况。 大多数最新技术只考虑这些方面之一的变化。 尽管这种“双重”场景极其复杂，并且在这种动态图中检测异常非常具有挑战性，但值得研究，因为这些图高度反映了真实的网络数据。
11.3 异构图中的异常检测
异构图是一种特定类型的图，包含不同类型的节点和边。 例如，Twitter 可以直观地建模为由推文、用户、单词等组成的异构图。
机会：利用异构图中不同类型节点之间的复杂关系进行异常检测，代表性作品，如HGATRD [157]，GCAN [156]和GLAN [158]，通常根据元将异构图分解为单个图 -路径，例如，一个包含推文和用户，另一个包含推文和文字。 然后，他们使用 D(G)NN 来学习用于图形异常检测的嵌入。 这种分解本质上忽略了不同类型的节点/边之间的直接相互关系，并降低了嵌入的有效性。 一种可能的解决方案是揭示不同类型的节点和边缘之间的复杂关系，并将它们编码为独特的表示形式以提高检测性能。
11.4 大规模图中的异常检测方法
对高维和大规模数据的可扩展性是对异常检测技术的持续和重大挑战。 面对Facebook和Twitter等包含数十亿用户和友情链接的大型网络，无论是图的大小还是节点属性的数量，数据量都非常大。 然而，大多数现有工作缺乏检测如此大规模数据中异常的能力，因为它们是转导模型[HZ7] ，需要将整个图作为输入进行进一步分析。 随着网络规模的扩大，计算时间和内存成本急剧增加，这阻止了现有技术在大规模网络上的使用。
机会：因此，需要可扩展的图形异常检测技术。 一种可能的方法是归纳学习方案，该方案首先在整个图的一部分上训练检测模型，然后应用该模型检测未见数据中的异常。 由于一些归纳学习模型，如 GraphSAGE [184]，已经显示出它们在大规模图中的链接预测和节点分类方面的有效性，这种方法有望为大规模图中的图异常检测提供基础，类似的技术可以 将来会被调查。
11.5 多视图图异常检测
在现实世界的网络中，对象可能与其他对象形成不同类型的关系（例如，用户在 Twitter 上的关注度和友谊）。 他们的属性信息可能是从不同的资源中收集的，比如用户的个人资料、历史帖子。 这导致了两种类型的多视图图：1）在两个节点之间包含不止一种类型的边的多图[185]，[186]； 2）多属性视图图，将节点属性存储在不同的属性视图中[94]，[187]，[188]。
机会：这些多视图基本上可以让我们从不同的角度分析真实物体的特性。 每个视图还为其他视图提供补充信息，它们可能对异常检测具有不同的意义。 例如，异常在一种观点中可能难以区分，但在另一种观点中明显不同于大多数。 在多视图学习的数据挖掘中有多种工作[189]，[190]。 然而，为了异常检测目的，可以容纳多视图图以及节点上的多视图属性的工作才刚刚起步。 此外，这些作品忽略了多个视图中包含的丰富信息和它们之间的不一致性。 为此，我们认为需要在这个方向上做更多的研究工作。 消化视图之间的关系对于它们的成功至关重要，因为两个视图可能会为异常检测提供相反/补充的信息。
11.6 伪装/对抗性异常检测
在线平台的易访问性使其成为欺诈者、攻击者和其他恶意代理进行恶意活动的便利目标。 尽管已经部署了各种异常检测系统来保护良性对象，但异常仍然可以隐藏自己以逃避检测[191]。 这些实体被称为伪装异常，通常会将自己伪装成常规物体。 如果检测技术对这种情况不稳健，即如果它们不能快速有效地适应寻求逃避的攻击者不断变化的行为，那么异常只会造成它们的破坏。
机会：在伪装面前，异常与常规物体的界限变得模糊，使得异常更难被识别。 我们认为应该在检测这些异常方面付出大量努力，因为到目前为止，很少有研究着眼于处理图形中的伪装异常 [26]、[27]、[76]。 为了弥补这一差距，一个主要方向可能是联合分析属性、相关关系，例如超图中对象之间的三元关系、四元关系或高阶关系 [192]-[195]，以及图中包含的其他信息 . 通过这种方式，可以有效地识别仅伪装其局部结构或属性的异常。 增强现有技术可能是另一个方向。 这涉及结合额外的检测机制或功能块，这些机制或功能块专门设计用于区分伪装异常与现有检测技术。 因此，这些技术将弥合大多数现有工作和伪装异常检测。
11.7 不平衡图异常检测
异常是罕见的，这意味着异常检测总是与训练数据中的类不平衡并存。 由于深度学习模型严重依赖训练数据，这种不平衡对图形异常检测提出了巨大挑战，这仍然是深度学习技术的重大障碍。 通常，不平衡的类别分布会降低检测技术捕获异常和非异常之间差异的能力。 它甚至可能导致对异常类的过度拟合，因为数据中的异常太少了。 如果检测模型忽略了这个关键事实并且训练不当，检测性能将是次优的。
机会：事实上，类别不平衡已在各个研究领域得到广泛探索 [117]、[118]。 对多数类进行欠采样或修改算法等进步为解决不平衡的训练问题提供了重要的启示。 然而，当代的图形异常检测方法很少结合这些技术。 对于更有效的检测技术，更加关注异常的有偏模型，例如对错误分类的异常进行额外的训练损失惩罚，将是规避问题的可能方向。 此外，当采用将相邻信息聚合到目标节点的图神经网络时，如GCN或GraphSAGE，应防止连接节点特征之间的过度平滑，从而可以保留异常的可区分特征以支持异常检测。
11.8 多任务异常检测
图异常检测与其他图挖掘任务有密切关系，包括社区检测[58]和节点分类[196]，以及链接预测[197]。 举一个具体的例子，在检测社区异常时，通常使用社区检测技术在异常检测之前提取社区结构。 同时，异常检测结果可用于优化社区结构。 异常检测和其他任务之间的这种互惠互利的合作本质上表明了多任务学习的机会，可以同时处理不同的任务并在任务之间共享信息。
机会：多任务学习提供了有效的机制，其中包含相关任务 [198]、[199]。 它的最大优势是来自另一个任务的训练信号可以产生补充信息来区分异常和非异常。 结果将是增强的检测性能。 然而，目前很少有尝试着眼于此。 除了当前的工作，例如联合执行异常节点检测和个性化推荐的 [100]，将其他学习任务与图异常检测相结合的探索可能会成为一个富有成果的未来方向。
11.9 图异常可解释性
异常检测技术的可解释性对于后续的异常处理过程至关重要。 在将这些技术应用于金融和保险系统等实际应用时，必须提供可解释和合法的证据来支持检测结果。 然而，大多数现有作品缺乏提供此类证据的能力。 为了识别异常，最常用的指标是 top-k 排名和简单的异常评分函数。 这些指标足够灵活，可以将对象标记为异常或非异常，但它们无法得出可靠的解释。 此外，由于深度学习技术也因其低可解释性而受到批评，未来使用深度学习进行图形异常检测的工作应该更加关注这一点[200]。
机会：为了弥合这一差距，将专门设计的解释算法或机制 [201]、[202] 集成到检测框架中将是一种可能的解决方案，并指出这会固有地导致更高的计算成本。 因此，未来的工作应该平衡异常检测性能和可解释性的成本。 基于可视化的方法，例如仪表板、图表，也可能以人性化的方式显示异常和非异常之间的区别。 如果可以给出可解释的可视化结果，那么在这个方向上的进一步研究将会成功 [203]。
11.10 图异常识别策略
在现有的无监督图异常检测技术中，异常识别主要基于残差分析[41]，[107]，重构损失[110]，基于距离的统计[84]，基于密度的统计[98] ，图扫描统计[204] [207]，和一类分类[HZ8] [115]。 这些识别策略的潜在直觉是，异常与常规对象具有不一致的数据模式，因此它们将：1）引入更多的残差或更难重建； 或 2）位于低密度区域或远离异常感知特征空间中的多数类。 目前，为 GNN 设计用于异常检测的新型损失函数的努力非常有限 [67]
机会：尽管这些策略可以捕获异常的偏差数据模式，但它们也有不同的局限性。 具体来说，残差分析、一类分类和重建损失策略对噪声训练数据敏感。 嘈杂的节点、边或子图也表现出大残差、到原点/超球体中心的大距离和高重建损失。 同时，只有当异常和非异常在低维空间中被很好地分离时，才能应用基于距离和基于密度的策略。 如果异常和非异常之间的差距不是那么明显，检测性能也会急剧下降。 它需要在未来进行广泛的努力以打破这些限制并探索新的异常识别策略。
11.11 系统基准测试
系统基准测试是评估图形异常检测技术性能的关键。 正如我们在第 10.4 节的分析中所指出的，最近的研究不断引起人们对更全面、更有效的基准测试的关注 [142]、[176][178]。 通常，基准测试框架由基准数据集、基线方法、评估指标和进一步的分析工具组成。 当使用其他基线评估技术的性能时，评估数据集和指标变得非常重要，因为每个模型的性能可能因设置而异。 公共数据集和（公开可用的）基线方法的短缺也对有效评估提出了巨大挑战。 尽管我们调查的目的之一是为此目的提供广泛的材料，如开源实施、数据集和评估指标，但这项工作只能作为未来系统基准研究调查的基础。 我们邀请异常检测社区为这一重要案例做出更多努力。 当然，严格关注设计更好的基准测试框架将有助于揭示各种检测技术的进步和缺点，并从本质上跟踪该领域的公正和准确的进展记录。
11.12 统一异常检测框架
图异常可以分为单个图中的异常节点、边和子图或图数据库中的异常图。 这些异常通常共存于现实世界的数据集中。 例如，个人欺诈者、异常关系和欺诈群体同时存在于在线社交网络中，如图 1 所示。此外，可能有不同的方式来定义某种类型的异常，例如社区异常值与异常社区或属性 基于与结构异常。 在实际应用中部署检测技术时，期望能够识别所有类型的异常，同时消耗最少的资源和时间。 一种直接的方法是集成独立的异常节点、边缘和子图检测技术。 虽然这很方便应用于相对较小的网络，但其高计算成本肯定会阻止该方法扩展到大型网络，例如 Facebook 和 Twitter，因为必须通过不同的技术多次加载和处理相同的图形数据。
机会：可以一起检测不同类型异常的统一框架 [208]，[209] 可能会提供可行的解决方案来弥合差距。 要构建此类框架，一个可能的方向是同时捕获不同检测技术所需的所有信息，以便可以应用这些技术。 这个想法似乎没有挑战性，但在深度学习中，设计能够满足这种需求的神经网络层和学习策略的方法将需要大量的努力。
12 结论
由于现实世界对象之间的复杂关系和深度学习的最新进展，特别是图神经网络，深度学习的图异常检测目前处于异常检测的前沿。 据我们所知，这是第一项针对使用现代深度学习技术进行图形异常检测的综合评论的调查。 具体来说，我们根据它们可以检测到的图异常类型对当代深度学习技术进行了回顾和分类，包括：（1）异常节点检测； (2)异常边缘检测； (3) 异常子图检测； 最后，(4) 异常图检测。 给出了不同工作之间的清晰总结和比较，以提供图形异常检测作为一个领域的当前工作和进展的完整和透彻的画面。
此外，为了推动这一领域的未来研究，我们通过编译广泛的常用数据集、开源实现和合成数据集生成技术，为系统基准测试提供了基础。 我们根据调查结果进一步强调了未来工作的 12 个潜在方向。 我们坚信，使用深度学习进行图形异常检测确实不仅仅是一时的兴趣，未来几年来自不同领域的众多应用肯定会从中受益。
[192] H. Chen,H. Yin,X. Sun,T. Chen,B. Gabrys,and K. Musial,“Multilevel graph convolutional networks for cross-platform anchor link prediction,”in Proc. ACM SIGKDD 26th Int. Conf. Knowl. Discov. Data Mining,2020,pp. 1503–1511. 用于跨平台锚链接预测的多级图卷积网络
[193] A. Guzzo,A. Pugliese,A. Rullo,D. Sacca,and A. Piccolo,“Malevolent activity detection with hypergraph-based models,”IEEE Trans. Knowl. Data Eng.,vol. 29,no. 5,pp. 1115–1128,2017. 使用基于超图的模型进行恶意活动检测
[194] X. Sun,H. Yin,B. Liu,H. Chen,J. Cao,Y. Shao,and N. Q. Viet Hung,“Heterogeneous hypergraph embedding for graph classification,”in Proc. ACM 14th Int. Conf. Web Search Data Mining,2021,pp. 725733. 用于图分类的异构超图嵌入
[195] J. Silva and R. Willett, “Hypergraph-based anomaly detection of high-dimensional co-occurrences,”IEEE Trans. Pattern Anal. Mach. Intell.,vol. 31,no. 3,pp. 563–569,2008. “基于超图的高维共现异常检测
[HZ2]人为选定，每一次的标准不一样，成本高
[HZ3]注意！
[HZ5]重点，图的节点异常预测
[HZ6]把异常惩罚值应用于数据分析或机器学习算法中，是一种减轻异常值对模型预测的影响的方法。异常值指的是与其他数据点相比有明显差异的离群点。这些离群点可能会严重影响模型的拟合和预测能力，因此需要将其剔除或进行处理。
[HZ8]One-class classification是指一种机器学习任务，其目标是对单个类进行分类。与通常的分类任务不同，其中需要将每个数据点分配到多个预定义的类别之一，one-class classification仅需要确定一个类，即内部数据的正模式，并将所有与该模式足够接近的实例视为“正常”的，而其他实例则被视为“异常”。这种方法通常用于检测异常值和离群点，例如，当我们只有正常数据的样本时，我们可以使用one-class分类器来检测新的未知异常数据，并将其分类为异常数据。
扫一扫
3290
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
