动态图异常检测论文研究(一)和Transformer了解

论文研究(一)

王凯, 陈丹伟. 基于 LSTM 的动态图模型异常检测算法研究[J]. 计算机工程与应用, 2019, 55(5): 76-82.

使用图的方法做异常检测可以有效地对敌手进行检测，因为攻击者难以掌握整个网络拓扑和检测算法，也就难以规避检测。基于图的方法主要面临的挑战在于：

1.数据的海量性；2.数据动态复杂性；3.数据难以获取，数据中噪声大、冗余项多，稀疏度高，同时很少有大规模网络相关的数据集，数据没有分类标签训练困难，数据量大难以人工标记等都是需要解决的问题。

动态图模型异常检测定义：给定连续的静态图序列，寻找特定的时间节点对应于图上显著的变化或事件发生，同时找出影响最大的相关的节点、边或子结构。

本文提出了一种基于长短时记忆网络的动态图模型异常检测算法。首先通过对动态图的变化特征进行分析，总结了Egonet图结构距离和编辑距离两类特征，高效地表示动态图结构的变化情况。其次，通过基于LSTM的时间序列分类算法，进行模型的训练，最后对抓取的网络数据流进行入侵检测。

郭嘉琰, 李荣华, 张岩, 等. 基于图神经网络的动态网络异常检测算法[J]. 软件学报, 2020, 31(3): 748-762.

动态图的特点

1. 网络结构处于不确定的变化之中,每一时刻都有新的点或边加入或删除;
2. 网络的属性处于不确定的变化之中,同一节点或边在不同时刻的属性特征可能不同。

动态网路异常检测问题的定义

给定图流$G=(G_{t_1},G_{t_2},...,G_{t_x})$ ,一个表示函数$f_{embed}$和一个异常评分函数 $f_{score}$,要探测的异常图的集合 其中,c 为一个常数,c大于0.

由此可知主要任务有 3 点
(1) 找到好的向量表示来体现图的整体特征
(2) 使模型能够记忆之前存在过的图的信息
(3) 找到合适的算法来给每一时刻的图进行异常打分,并认为异常分数大于阈值的图为异常图

提出一种使用图神经网络来进行动态网络异常检测的算法.该算法首先使用图神经网络将 t 时刻的网络元素信息(节点、边)提取到特征空间,之后使用图上的无监督表示学习算法 DGI 将当前时刻的整个网络表示成一维的向量.在图的表示向量的基础上,使用成熟的流上的异常检测算法 RRCF 等为每一时刻的图进行打分,获取其异常分数.为了确定异常图,可以设定一个阈值并认为分数超过阈值的图存在异常.在进行网络表示学习的过程中,我们使用全局表示与局部表示互信息最大化的策略来进行图的表示学习.为了使模型能够利用每一时刻的图信息,使用 LSTM 来获取每一时刻网络全局表示的变化信息并加以处理.

算法特点：

(1) 图的属性特征、结构特征的提取.使用图神经网络来提取某时刻图的属性特征和结构特征;
(2) 图的时间变化特征的提取.使用长短路记忆模型来结合不同时刻图的信息提取图的变化特征;
(3) 动态网络表示学习.使用最大化局部与全局表示互信息的策略来进行图表示向量的学习;
(4) 流数据的异常检测.使用数据流上的异常检测算法给出异常分数.

Liu Y, Pan S, Wang Y G, et al. Anomaly detection in dynamic graphs via transformer[J]. IEEE Transactions on Knowledge and Data Engineering, 2021.

动态图学习中有两个挑战：

挑战1是大多数动态图中缺乏原始属性信息。由于对时变属性数据量的爆炸性需求或隐私问题导致的属性不可访问，很难从主流原始动态图数据集中构造属性信息来表示每个节点。为了填补这一空白，需要一种有效的编码方法来构建人工特征来表示进化的节点。

挑战2是从空间(结构)信息和时间信息耦合的动态图中学习判别知识的困难。异常检测时结构(即共享社区)和时间(即以前的交互)因素都应该同时考虑，这就提出了理解这种耦合信息的挑战。

本文提出了一种基于Transformer的动态图异常检测框架(简称TADDY)。我们的主题是构造一个节点编码来覆盖足够的空间和时间知识，并利用一个唯一transformer模型来捕获耦合的时空信息。更具体地说，为了克服挑战1，我们精心设计了一个由三个函数项组成的综合节点编码，以提取全局空间、局部空间和时间信息。节点编码中集成了可学习的映射函数，帮助框架端到端自动提取信息编码。对于挑战2，我们开发了一个动态图transformer模型来同时学习空间和时间知识。执行基于边的子结构采样以捕获跨时间的上下文信息作为transformer模型的输入。然后，利用跨越结构和时间的注意机制提取耦合的时空信息。

特点：

1.为动态图中的节点设计了一种综合的编码方法。所提出的节点编码集成了各种知识，包括全局空间信息、局部空间信息和时间信息。

2.已有方法大多采用不同的网络模块分别提取时空特征，而TADDY采用transformer网络同时对时空信息进行建模。

Transformer

Transformer是一个利用注意力机制来提高模型训练速度的模型。trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。很多经典的模型比如BERT、GPT-2都是基于Transformer的思想.

可以简单理解transformer是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文

里面主要有两部分组成：Encoder 和 Decoder

一般情况下，Encoders里边有6个小编码器，同样的，Decoders里边有6个小解码器

放大一个encoder，发现里边的结构是一个自注意力机制加上一个前馈神经网络

decoder类似