论文笔记——ANOMALYDAE: DUAL AUTOENCODER FOR ANOMALY DETECTION ON ATTRIBUTED NETWORKS

 

Fan H , Zhang F , Li Z . AnomalyDAE: Dual autoencoder for anomaly detection on attributed networks[J]. 2020.

• 一 摘要

属性网络异常检测的目的是发现模式明显偏离其他参考节点的节点，这在网络入侵检测和垃圾邮件检测等领域有着广泛的应用。然而，当前的方法大多忽略了网络结构与节点属性之间夸模式的复杂交互。本文提出了一种基于双向自编码的深度联合表示学习框架，该框架能捕获网络结构和节点属性之间的复杂交互以实现准确的图特征向量表示。AnomalyDAE框架是由一个结构自动编码器和一个属性自动编码器组成来共同学习节点和属性特征向量表示。此外，在结构编码器中引入了注意机制来学习节点与其相邻节点之间的重要性，从而有效地捕获结构模式。将节点嵌入和属性嵌入作为属性解码器的输入，在重构节点属性时学习了网络结构和节点属性。最后，基于结构和属性两个角度测量节点的重建误差来实现异常检测。在真实数据集中进行了大量的实验验证，表明本文提出的方法的有效性。

• 二 引言

属性网络在现实世界中无处不在，如社交网络、通信网络和商品共同购买网络等，在这些网络中除了网络本身的拓扑结构外，每个节点自身还有一系列描述它自身特性的属性。

属性网络中的异常检测主要是找出在行为模式上与其他节点差异较大的节点。异常检测在网络入侵检测、系统故障诊断和垃圾邮件检测等领域有着广泛的应用。最近，属性图异常检测的研究与为了研究热点。当前一些研究通过当前节点与同一社区内其他参考节点或是测试连通子图的质量实现社区水平的异常检测。还有一些工作者通过节点特征的子空间选择来实现属性图的异常分析。最近的一些基于残差分析的异常检测方法是在假设异常检测并不能通过其他参考节点的分析得到。

尽管前面提到的算法都取得了一定的成功，但是这些算法要么是由于浅层学习机制和子空间选择导致严重的计算开销，要么由于是只学习结构特征而忽略了结构与节点属性的交互。网络结构与属性的交互对于检测属性图异常检测非常重要，因为这考虑了图结构与内容两个异常维度。为了解决以上问题，本文提出了提出了一种新的双向自编码联合表示学习框架，该框架能同时对网络结构和属性进行处理，实现高质量的图特征表示。与文献[14]中使用的方法不同，AnomalyDAE由结构自动编码器和属性自动编码器组成，分别通过重构原始网络拓扑和节点属性来学习节点和属性的潜在表示。然后，从结构和属性两个角度测量节点的重构误差，检测网络中的异常。

本文的主要贡献如下：

1 提出了一个基于双向自编码器的属性网络联合表示学习框架，该框架能对网络结构和属性的交互模式进行处理，并从网络结构和属性两个角度来进行异常检测。

2 本文方法在一些真实数据集中进行了实验对比，结果显示AnomalyDAE明显优于当前的深度学习模型，ROC-AUC的得分提高了22.32%。

三 相关概念与问题描述

本节主要介绍文章中所提到的字符表示并形式化的给出了问题定义。

表1是本文涉及到的概念的符号表示。

问题1形式化描述了属性图异常检测的定义，本质是上学习一个得分函数，能把结构和属性都明显与其它节点有区别的节点找出来。

四 AnomalyDAE方法

图1 AnomalyDAE框架

这一节将详细介绍本文提出的属性图异常检测方法-AnomalyDAE。如图1所示，AnomalyDAE是一个端到端的联合表示学习框架，它包括用于网络结构重建的结构自编码器和用于节点属性重建的属性自编码器。该方法以结构编码器学习的节点嵌入表示和属性编码器学习得到的属性嵌入表示为输入，在训练过程中，结构解码器和属性解码器共同捕获网络结构和节点属性之间的交互。最后，利用网络结构和节点属性的重构误差来度量属性网络中的异常。

4.1 结构自编码器

为了获得有代表性的高水平节点特征表示，结构编码器首先把观察到的原始节点属性X转换成低维潜在空间的向量表示 ，该向量表示可以表示成：

式中， 表示激活函数， 和 表示编码器学习得到的权值和偏置。 和 表示输入节点属性X和输出的嵌入表示 的维度。

利用编码器得到图的嵌入表示 后，通过对节点利用共享注意力机制来聚合所有邻节点的嵌入表示。

式中， 是节点 到 的重要度权值。 表示对 和 进行参数化的神经网络，其中权重是所有节点共享的。||表示级联操作。重要度权值 通过softmax函数进行标准化。

其中， 表示节点 的近邻节点，可以通过邻接矩阵得到。节点 的嵌入表示可以通过学习重要度权值，针对所有节点的嵌入表示进行加权求和得到。

最后，结构解码器，以编码器学习得到的嵌入表示为输入重构原始的网络结构。

其中， 是sigmoid激活函数。本文通过计算两个节点的嵌入表示向量的内积作为两个节点之间链路的概率：

4.2属性自编码器

在属性编码器中，使用两个非线性特征变换层将观测到的属性数据映射成潜在的属性嵌入表示。公式如下：

其中， ， ， 和 表示两层神经网络的权重与偏置。属性编码器以编码器学习得到的嵌入表示为输入重构原始的节点属性。

与结构编码器不同的是，在属性编码器中对于任意的值属性不需要激活函数。在本文方法中，结构自编码器与属性自编码器的计算复杂度分别为O(MD+ED+m2)和O(ND+NM)，其中M表示图中节点的数量，E是边的数量，N是属性的维度，D是嵌入表示的维度。

4.3 损失函数

AnomalyDAE的目标函数是最小化结构与属性的重构误差，表示成下式：

其中，a是控制结构重构误差和属性重构误差的权值。 是Hadamard积，η和θ

的定义如下式：

其中， 和 用于对那些因为确实边与属性而造成的非零元素的重构误差进行惩罚。

4.4异常检测

异常节点的定义就是指那些在结构和属性上严重偏离其他节点的节点。通过以上分析，节点的 的异常得分 可以通过网络结构与属性的重构误差来衡量。

其中，公式中的参数 用来确定异常的范围，这个通常是根据专家经验或是真实场景中的需求来确定。

五 实验

数据集主要使用如下图所示的3个数据集。

在进行实验的时候，AnomalyDAE对以上三个数据集分别执行了100，100和80次迭代。图嵌入表示的向量维度设为128，对于以上三个数据集参数 分别设为(0.7, 5, 40), (0.9, 8, 90), (0.7, 3, 10)。

5.1 结果分析

5.1.1 性能评估

AnomalyDAE方法与当前已有方法LOF,SCAN,AMEN,RADAR,Anomalous和Dominant进行了对比分析。关于异常检测的AUC得分如下图所示。

本文提出的算法AnomalyDAE在所有数据集中都明显优于其他方法。

5.1.2 参数灵敏度

图2 异常检测参数敏感性

本节主要分析嵌入表示的向量维度灵敏性以及异常检测参数a的权衡。实验结果如图2所示。可以看出相对较高的嵌入表示维度（128或256）有助于提高性能，这是因为较高维度的嵌入表示能包含更多的信息。但是太大或太小的维数会因为建模能力弱或是过拟合而导致性能下降。根据结构与属性的权重参数a来看，只考虑结构重构或是只考虑属性重构的话性能会非常低，这也表明了在属性图属性检测中网络结构与属性的交互非常重要。