【论文翻译】用于恶意账户检测的异构图神经网络

用于恶意账户检测的异构图神经网络

摘要

我们介绍了GEM，这是全球领先的移动无现金支付平台之一的支付宝第一个用于检测恶意账户的异构图神经网络方法。我们的方法受连通子图方法的启发，基于攻击者的两个基本弱点，即设备聚合和活动聚合，自适应地从异构帐户设备图中学习有区别的嵌入。对于由不同类型的节点组成的异构图，我们提出了一种注意机制来学习不同类型节点的重要性，同时利用求和算子对每种类型节点的聚集模式进行建模。实验表明，随着时间的推移，与竞争方法相比，我们的方法始终表现出有希望的结果。

关键词 
恶意账户检测；神经网络；异构图

1 介绍

Gmail、Facebook和Alipay等大型在线服务已成为网络攻击的热门目标。通过创建恶意帐户，攻击者可以传播垃圾邮件，谋取暴利，这对生态系统是有害的。例如，大量被滥用的机器人帐户被用来在整个电子邮件系统中发送数十亿封垃圾邮件。更为严重的是，在支付宝这样的金融系统中，一旦大量账户被恶意用户或一组恶意用户接管，这些恶意用户就有可能套现并获得不义之财，这对整个金融系统造成了极大的危害。有效、准确地检测此类恶意账户在此类系统中起着重要的作用。

许多现有的安全机制都对恶意账户的攻击特征进行了广泛的研究[5,15,21-23]，希望能够区分正常账户和恶意账户。为了挖掘这些特点，现有的研究主要从三个方向展开。首先，基于规则的方法直接生成复杂的识别规则。例如，Xie等人[22]提出了“垃圾邮件负载”和“垃圾邮件服务器流量”属性来生成高质量的正则表达式签名。其次，基于图的方法通过考虑账户之间的关联性来重新描述问题。这是基于这样一种直觉，即攻击者只能单独躲避，但无法控制与正常帐户的交互。例如，Zhao等人[23]通过构造账户图来分析连通子图组件，以识别大型异常组。第三，基于机器学习的方法利用大量的历史数据学习统计模型。例如，Huang等人[15]基于图的属性提取特征，并构建了用于识别恶意账户的监督分类器。Cao等人[5]提出了在无监督机器学习框架中使用聚合行为模式来发现恶意帐户的方法。

当潜在对手的攻击策略发生变化时，一个行为良好的系统能够适应不断变化的策略是至关重要的[5，23]。我们总结了攻击者的以下两个主要观察结果，作为我们工作的基本基础。（1） 设备聚合。攻击者受到计算资源成本的影响。也就是说，由于经济上的限制，如果攻击者能够控制大量的计算资源，代价是高昂的。因此，一个攻击者或一组攻击者拥有的大多数帐户只会在少量资源上频繁注册或登录。（2） 活动聚合。攻击者受到战役时间的限制。基本上，攻击者需要在短期内完成特定的目标。这意味着由单个攻击者控制的恶意帐户的行为可能在有限的时间内爆发。

攻击者的弱点已经被广泛的分析，但是，它仍然具有挑战性，以确定攻击者的高精度和重新调用4。在支付宝这样的金融系统中，尽可能准确地识别恶意账户非常重要。究其原因，主要有两个方面：（1）套现等违法行为对整个金融体系乃至国家安全都有本质的危害；（2）作为互联网服务公司，我们需要减少对正常用户不必要的干扰和干扰，即提供友好的服务。现有的方法[23]通常通过设置严格的限制来实现非常低的假阳性率（友好服务），但可能会错过识别更多可疑账户的机会，即假阴性率很高。原因是大量的良性账户与少量的可疑账户交织在一起，导致了低信噪比。由于数据的嘈杂，普通账号与恶意账号共享同一IP地址，或者IP地址来自同一个代理服务器，这是很常见的。因此，从电话号码、媒体访问控制地址（MAC）、IMEI（International Mobile Equipment Identity）、SIM号码等不同类型的设备组成的异构图来看，将“设备聚合”和“活动聚合”结合起来考虑就显得尤为重要。

在这项工作中，我们提出了一种基于图表示学习文献[13]的新的基于网络的图技术，即恶意帐户的图嵌入（GEM），它综合考虑了异构图中的“设备聚合”和“活动聚合”。我们提出的方法本质上是对异构账户设备图的拓扑结构进行建模，同时在图的局部结构中考虑账户活动的特点。我们模型的基本思想是，单个帐户是正常的还是恶意的，取决于其他帐户如何通过拓扑中的设备与此帐户“聚集”，以及这些其他帐户如何在时间序列中与此帐户共享同一设备。为了允许不同类型的设备，我们使用注意机制自适应地学习不同类型设备的重要性。与现有方法先研究账户活动的图属性[15]或两两比较[5]，然后输入机器学习框架不同，我们提出的方法直接学习给定本地拓扑和附近其他账户活动的端到端上下文的每个账户的函数。

我们将提议的工作部署为支付宝的真实系统。它可以检测数以万计的恶意帐户每天。实验结果表明，实验结果明显优于其他竞争方法的结果。

我们将这项工作的贡献总结如下：

• 我们提出了一种新的基于神经网络的图形表示方法，通过联合捕获攻击者的两个弱点来识别恶意帐户，在异构图形中概括为“设备聚合”和“活动聚合”。据我们所知，这是第一个用图神经网络方法解决的欺诈检测问题。
• 我们的方法部署在支付宝，这是最大的第三方移动和在线无现金支付平台之一，服务超过4亿用户。这种方法每天可以检测到数以万计的恶意账户

2 准备工作

在这一节中，我们首先简要介绍了最近发展起来的图表示学习技术的一些初步内容。

2.1 图神经网络

第一类涉及预测图、图的边或图的节点上的标签。图神经网络是Gori等人[11]和Scarselli等人[19]中引入的一种递归神经网络的推广，它可以直接处理更一般的一类图，例如循环图、有向图和无向图。

最近，将卷积推广到图上已经显示了很有希望的结果[4，9]。例如，Kipf&Welling[16]提出了简单的过滤器，在每个节点周围的一步邻域中运行。假设是节点特征向量席的矩阵，一个无向图，n个节点，边，邻接矩阵。他们提出了以下卷积层：

式中，是具有自循环的A的对称正规化，即，=A+I，是的对角节点度矩阵，表示第t个隐藏层，=X，是层特定参数，σ表示激活函数。GCN（16）本质上学习函数f(X,A)，通过利用其定义在A中的邻域来帮助表示每个结点。通过将节点建模为文档，以及边缘作为引文链接，他们的算法在诸如CITESER、科拉和PubMed的引用网络中分类文档的任务中达到了最先进的结果。

同时，Dai等人研究了图形模型和神经网络之间的一种新联系。一个关键的观察是，每个节点i的变分潜在分布的解需要满足以下不动点方程：

此外，Smola等人[20]表明，存在另一个特征空间，使得可以找到内射嵌入作为与原始函数相对应的充分统计量。因此，Dai等人[8]表明，对于任何给定的上述不动点方程，人们总能在另一个特征空间中找到等价变换：

因此，可以在嵌入空间h中直接学习图形模型，并在神经网络框架中通过额外的连接函数直接优化函数f。与传统的图形模型相比，这种表示更为强大，因为传统的图形模型中每个变量都受到指数族函数的限制。

综上所述，该领域的工作基本上是基于迭代式邻域聚合方法[13]：

其中f(·)是一个参数化的非线性变换。这个领域的大部分工作都是研究聚合操作符应该处理的“感受野”[17]，因为与每个像素正好有8个邻居的数据图像相比，图形域中的节点可能会有很大的变化。

最近，Liu等人[17]提出GeniePath，其目的是自适应地过滤每个节点的感受野，而GCN则对预定义的感受野进行卷积。这会产生更好的结果。

我们的方法可以看作是图卷积网络的一种变体，也就是说，我们设计了一种方法，使用和算子来捕捉每个节点的T步邻域中的“聚合”模式，同时使用注意机制来重新衡量“异构”图中各种类型节点的重要性。

2.2 节点嵌入

第二类技术包括图嵌入方法，旨在学习每个节点的表示，同时保留图结构[13]。它们显式地为节点对之间的关系建模。例如，一些方法直接使用邻接矩阵[1，3]，t阶邻接矩阵[6]，其他方法则通过随机逼近高阶邻接矩阵来模拟随机游动[12,18]。

形式上，大多数方法的目标是最小化一组训练节点对上的经验损失L：

其中是编码器函数，是译码器函数，如，是所谓的成对邻近函数，是用于测量重构能力的特定损失函数，到用户指定的成对邻近度量。

该领域的方法是无监督算法。他们学习图上的节点嵌入而不使用地面真值标签。这样的节点嵌入可以作为图的统计属性，如[15]，并被输入分类器进行最终预测。

实践证明，基于随机游走的邻近性度量[13]在许多任务上都取得了最新的结果，如引文网络、蛋白质网络等。我们将在实验中报告这些方法的经验结果。

3 提议的方法

在这一部分，我们首先描述了支付宝真实数据中发现的模式，然后讨论了一种基于连通子图组件的激励方法。受这种直观方法的启发，本文讨论了基于真实数据特征的异构图的构造，最后给出了恶意账户的建模方法。

3.1 数据分析

在本节中，我们将研究支付宝真实数据所展示的“设备聚合”和“活动聚合”模式。

设备聚合。设备聚合的基本思想是，如果一个帐户与大量其他帐户一起注册或登录同一个设备或一组公用设备，那么这些帐户将是可疑的。人们可以简单地计算连接子图组件[23]的大小，作为每个帐户的风险度量。

活动聚合。活动聚合的基本思想是，如果共享公共设备的帐户成批运行，那么这些帐户就是可疑的。我们可以简单地将共享同一设备的两个帐户的活动的内积定义为亲和力的度量，即。显然，随着时间的推移，账户i和账户i之间的一致行为意味着高度的亲和力。这种两个账户之间的亲和力度量可以进一步用于分割一个巨大的连通子图，以提高假阳性率[23]。

我们从图1和图2中的支付宝数据说明了这两种模式。图1显示了连续7天累积的帐户设备图。在这张图中，我们不区分不同类型的设备。蓝点表示帐户具有与相应设备相关联的行为（注册或登录）。对于普通账号，蓝点均匀地散布在accountdevice图上，与恶意账号相比，蓝点显示出特定设备可以以各种模式连接大量账号的强烈信号。图2显示了每个账户在一段时间内的行为模式，其中每个蓝点表示在时间t时存在账户i的活动。左侧图表中正常账户的行为显示，每个新注册的正常账户在接下来的几天内表现均匀，而第二张图中的恶意帐户显示，它们往往只在短时间内爆发。

本节分析的模式促使我们考虑从图的角度对恶意账户进行建模。

3.2  动机：子图成分

图1中的设备聚合模式和图2中的活动聚合模式启发了我们对图中问题的思考。

图1：设备聚合模式：正常帐户（第一）与恶意帐户（第二）相比，恶意帐户倾向于聚合正常帐户。

图2：活动聚合模式：普通帐户（第一个）与恶意帐户（第二个）相比，新注册的恶意帐户往往只在短期内处于活动状态。

我们称第一次尝试为“连通子图”。我们的基本想法是建立一个账户图表，希望用边连接一组账户。“连通子图”方法包括三个步骤：

1. 假设我们有一个图，其中N个节点包括帐户和设备，一组M边{(i,j)}表示帐户i在一个时间段内在设备j上的登录行为。我们的目标是建立一个齐次图，只包含作为节点的帐户。也就是说，如果存在(i,j)和(i′,j)账户i和i′在一个时间段内登录同一设备，我们就添加一个边(i,i′)。因此，齐次图由连通子图组成，每个子图以某种方式捕获一组帐户。集团规模越大，该集团成为一个恶意账户团伙的风险就越高。然而，在实际应用中，数据本身就具有一定的噪声性，不同的账号登录相同的IP地址等情况很常见，从而造成正常账号和恶意账号的相互干扰。
2. 我们进一步减少和删除边缘如下。如图2所示，一帮账号的活动大多在某一天的短时间内爆发。为了测量子图中两个账户之间的相似性，我们将每个账户I的行为特征描述为向量，用p＝24，每个表示第t时刻的行为频率。我们可以测量两个账户之间的相似性，即内部乘积。因此，在的情况下，我们进一步删除了图的边，其中θ是控制图稀疏性的超参数。
3. 最后，我们可以使用每个帐户所属的子图的大小对其进行评分。为了确定超参数θ，我们可以在验证集上调整θ。

尽管这种方法直观，能够准确地检测出最大连通子图中的恶意账户，但由于恶意账户位于较小的子图中，其性能严重下降。

有没有什么方法可以用更面向机器学习的方法来区分恶意帐户和普通帐户？与传统的机器学习方法先提取有用的特征X，然后学习判别函数f(X)来识别这些账户不同，我们可以直接学习一个联合利用图的拓扑结构和特征的函数f(X,G)吗？

一种观察是，“连通子图”中涉及的三个步骤基本上预先定义每个节点上的得分函数g(·)基于（1）其邻域的“连接性”和（2）计算节点数的和算子位于连通性中。连通性既依赖于图（设备聚合）的拓扑结构，也依赖于进一步约束连通性的节点间内积（活动聚合）。和运算符度量连接性的聚合强度，即子图的大小。另一个观察结果是，我们实际上有一个函数，可以将原始账户设备图G转换为账户设备图。这一步对于“连通子图”很重要，因为否则我们无法度量不同帐户之间的亲和力，然而，转换实质上丢弃了原始图中的信息。

在下面的部分中，我们将学习基于现有图形表示学习文献的参数化分数函数。特别地，我们感兴趣的是将每个节点嵌入到向量空间中，从而模拟空间中的“连通性”之和。

3.3 异构图构造

假设N个顶点包含帐户和设备，每个设备对应于一个类型。我们观察到在一个时间段[0,T)内帐户和设备之间有M个边{(i，j)}。每个边表示帐户i在设备j上有活动，例如注册、登录等。因此，我们有一个由N个帐户和设备组成的图，边将它们连接起来。在线性代数中，这导致邻接矩阵。图3展示了数据集中G的一个连通子图。

图3：一个连通子图组件的可视化从我们的数据来看，共有210个顶点包括20个正常帐户（蓝色），7个恶意帐户（黄色），其余的顶点对应6种类型的设备。这些边缘的厚度表示估计的注意系数，将在第4.3.4节中讨论。

为了方便起见，我们可以进一步提取子图，每个子图保留了G的所有顶点，但忽略了包含不属于d类型的设备的边，从而得到邻接矩阵。注意，异构图表示与原始G具有相同的存储复杂性，因为我们只需要存储稀疏边。

请注意，这里的“设备”可能是一个更广泛的概念。例如，这个设备可以是一个IP地址，一个电话号码，甚至是facebook上的一个类似页面。在我们的数据中，我们收集了各种类型的设备，包括电话号码、用户机器ID（UMID）5、MAC地址、IMSI（国际移动用户标识）、APDID（支付宝设备ID）6和TID7，从而得到一个异构图。这样的异构图使我们能够理解不同设备的不同含义。

随着这些图表，我们可以进一步观察每个帐户的活动。假设N为矩阵，如果i是一个帐户，每行表示i的活动。在实践中，账户i在时间段[0，T)上的活动可以离散为p个时隙，其中每个时隙的值表示该时隙中的活动的计数。对于顶点对应于设备，我们只使用最后的坐标将席编码为一个热矢量。

我们的目标是区分恶意账户和正常账户。也就是说，给定时间[0，T)期间的邻接矩阵A和活动X，并且在时间[0，T−1)期间没有帐户的部分观察到真值标签，我们的目标是学习函数，以正确识别恶意帐户，并在时间T上很好地概括数据。

3.4 模型

在上面的部分中，我们讨论了我们在实际数据中观察到的模式，异构图的构造包括帐户和各种类型的设备。我们声称“设备聚合”和“活动聚合”可以作为邻接矩阵A和活动X的函数来学习。仍然需要指定函数的强大表示来捕获这些模式。

在我们的问题中，我们希望通过在图拓扑上传播变换活动X，来学习每个顶点i的有效嵌入：

其中表示第i行对应于顶点i的的第t层嵌入矩阵，σ表示非线性激活，如整流线性单位激活函数，其中和是在给定账户的关联性和相关活动的情况下控制所需函数“形状”的参数，希望它们能自动捕捉到更有效的模式。我们让k表示嵌入大小，T表示顶点需要查看的跳数，或者隐藏层的数量。例如，当层越深，即T越大时，意味着i的邻域聚集到5跳之外。我们允许出现在每个隐含层中，如等式（6），它可以以某种方式连接到类似于残差网络的深层[14]。根据经验，我们在实验中设置了k=16和T=5。我们通过平均值（即）将不同类型设备的影响标准化。

一些解释。在忽略设备D的类型和邻域T的程度的情况下，等式（6）中的变换HV将每个帐户i的活动嵌入到潜在向量空间中，然后操作AHV和1步邻域的潜在向量相加。当我们在T步之后迭代这个层时，算子基本上是在潜在向量空间中每个节点的T步邻域上求和，这与“连通子图”中定义的函数g(·)相似，它将节点的数量相加，位于可到达的“连通性”。不同之处在于，我们的方法是在原有的Account-Device图上工作，并通过对T步邻域的嵌入活动进行拓扑总结，将每个节点嵌入到一个潜在的向量空间中。因此，我们可以以更面向机器学习的方式学习一个仅由W和控制的参数化函数。在没有邻接矩阵A的情况下，我们的模型退化为一个只依赖于特征X的“跳过连接”结构的深神经网络。

优化。为了有效地学习W和，我们将这些嵌入与标准logistic损失函数联系起来：

其中σ表示逻辑函数，以及部分观察到的带有已知标签的账户上的损失L和。我们的算法以期望最大化的方式交互工作。在e-step中，我们根据当前参数W，{Vd}计算嵌入，如等式（6）所示。在m-step中，我们在固定嵌入的同时优化了等式（7）中的参数。

我们的方法可以看作是图卷积网络的一种变体[16]。然而，主要的区别在于：（1）我们将算法推广到异构图；（2）定义在邻域上的聚合算子。我们的模型对每种类型的图使用sum操作符，其灵感来自于“设备聚合”和“活动聚合”模式，并且对不同类型的图使用平均操作符。

3.5 注意机制

注意机制在许多基于序列[2]或基于图像的任务[10]中被证明是有效的。当我们处理不同类型的设备时，通常我们不知道来自不同子图的转换信息的重要性。在不同类型的子图的学习过程中，我们自适应地估计注意系数，而不是简单地将公式（6）中的信息平均在一起。也就是说，我们有：

其中需要估计自由参数。

4 实验

在本节中，我们将展示我们的方法在支付宝实际系统中部署的实验结果。

4.1 数据集

我们在全球领先的移动支付平台Alipay部署我们的方法，该平台服务超过4.5亿用户。我们的系统每天的目标是几十万个新注册的账户。对于那些已经被长期使用的账户，识别它们的风险是非常琐碎的，因为我们已经收集了足够的风险评估资料。为了每天预测新注册的帐户，我们每天都使用过去7天生成的所有活动帐户和关联设备构建图表。我们通过删除连接到没有其他帐户共享的设备（即孤立节点）的帐户来进一步预处理数据。这类帐户要么是恶意帐户的风险很低，要么在通过拓扑传播信息时毫无用处。因此，我们使用rest帐户和关联设备作为预处理数据中的顶点。

为了验证该方法的有效性，在我们的实验中，我们在支付宝使用了一个为期一个月的预处理数据集。实验数据集的粗略统计如表1所示。我们将数据分为连续4周，即“第1周”、“第2周”、“第3周”和“第4周”。对于每周，我们使用该周的顶点（帐户和设备）和相关边（活动）构建异构图。所有部分标记的账户都来自前6天，我们的目标是预测每个周末新注册的账户。为了稳健性的目的，我们展示了连续4周的结果。由于支付宝的信息敏感政策，我们不会透露恶意账户和正常账户的比例，因为这些数字非常敏感。

为了获得活动特征，我们在小时内离散活动，即P＝7×24＝168时隙，每个时隙的值作为在时隙中具有活动的i的计数。此外，如第3.3节所述，我们有6种类型的设备，以及每个帐户的大约200个人口统计特征，从而得出374=168+6+200个维度特征。

4.2 实验设置

我们描述我们的实验设置如下。

评价。支付宝首先识别新注册的可疑账户，并对这些账户进行长期观察。之后，支付宝能够给这些账户贴上“地面真相”的标签，事后诸葛亮。在下面的部分中，我们将报告F-19和AUC10的测量结果，并评估这种“基本真相”标签的精度和召回曲线。

我们之所以关心查准率和查全率曲线，是因为要求系统至少在被评分的可疑账户的顶部能够以高置信度检测恶意，这样系统就不会中断和干扰大多数正常用户。这对于提供金融服务的互联网商业公司来说是非常重要的。另一方面，我们希望在尽可能避免巨额资本损失的同时。通过查准率和查全率曲线可以判断在哪个阈值下，我们的检测系统能够很好地平衡恶意账户的服务体验和覆盖率。请注意，这与学术界设置为0.5的阈值有很大不同。

比较方法。我们将我们的方法与四种基线方法进行了比较。

• 连通子图，在第3.2节中讨论。这种方法类似于[23]中介绍的方法。该方法首先建立一个账户账户图，并将每个边的权重定义为两个账户席和席的内积。这种亲和力的度量可以帮助我们在一个巨大的连通子图中分割出正常的账户，从而进一步平衡精确性和召回率之间的权衡。最后，我们将相应的组件大小作为每个账户的得分。
• GBDT+图，这是一种基于机器学习的方法，我们首先计算account图的统计属性，例如连接子图组件大小、每个帐户的入度、出度以及每个帐户的特征，我们将这些特征输入到一个在工业中广泛应用的具有竞争力的分类器梯度提升决策树[7]（GBDT）中。
• GBDT+Node2Vec[12]，这是第2.2节中描述的一种基于随机行走的节点嵌入方法。无监督方法首先学习设备帐户图中每个节点的表示，以保持图的拓扑结构。之后，我们将学习到的嵌入和原始特征一起提供给GBDT分类器。我们将所有设备视为同一类型，因为这种方法不能简单地处理异构图。
• GCN[16]是经典的基于图卷积网络的方法之一，它根据式（1）聚合邻域。

对于图卷积网络风格的方法，包括我们的方法，我们将嵌入大小设置为16，卷积层的深度设置为5，除非另有说明。对于GBDT，我们使用100棵树，学习率为0.1。对于Node2Vec[12]，我们为每个节点重复采样100条路径，每条路径的长度为50。

 

4.3 结果

4.3.1 基本措施。我们首先在表2和表3中报告了所有方法在标准分类度量方面的结果，即F-1得分和AUC。

可以看出，尽管连通子图分量法非常直观，但它们在这个分类问题上做得并不好。其原因很明显，在实际应用中，由于数据的噪声，设备账号图中大量的良性账号与恶意账号交织在一起。在大连通子图和小连通子图中都存在恶意帐户。

与GBDT+Node2Vec方法相比，GBDT+图方法的结果非常相似。这可能本质上是Node2Vec的目标是学习图的属性，这类似于我们在GBDT+图中提取的特征。

GCN比GBDT+Graph和GBDT+Node2Vec工作得更好。原因可能是：GCN直接使用标签和活动特征的响应来学习节点嵌入，而Node2Vec或图统计的嵌入没有针对标签进行优化。

我们的方法GEM始终优于GCN。其原因有两个方面：（1）GEM处理异构类型的设备，而GCN只能处理同质图，GCN不能区分图中不同类型的节点；（2） GEM对每种类型的节点使用aggregator操作符，而不是normalized操作符[16]，因此它可以很好地建模底层聚合模式，如我们在第3.1节中所讨论的那样。

最后，我们发现我们的GEM注意与注意机制，自适应地分配不同的注意系数，每种类型的设备网络表现最好。这是因为，我们不应该将每种类型的设备标准化为同等重要的设备，而应该从我们的数据中了解它们的重要性，因为（1）不同类型的设备可能有不同程度的噪声，例如，IP地址可能容易混淆，而UMID可能更唯一、更准确；（2）特定的设备数据可能丢失。

4.3.2 精度召回曲线。我们在图4中报告了所有方法的精确召回曲线。如我们所见，我们提出的方法GEM在查全率曲线下的面积方面明显优于比较方法。

图4:GEM、GEM注意、连通子图、GBDT+图、GBDT+Node2Vec和GCN对测试数据的精确召回曲线：第1周（第一）、第2周（第二）、第3周（第三）、第4周（第四）。

最大的连接子图之一由我们的实验数据集中的1538个帐户组成。连通子图方法能准确地识别最大连通子图中的大部分账户，因为信号强，是恶意账户。这导致曲线一开始就具有很高的精度。之后，连通子图方法的精度下降很快。也就是说，当识别的连通子图的大小趋于小时，这种方法很难保持一致的高精度/召回曲线。

与比较法相比，我们的方法在曲线的起始处工作得相似甚至更好。更重要的是，我们的方法可以准确地检测出更多的恶意帐户（高召回率），仍然具有较高的精度，这是非常有前途的。

4.3.3 模型复杂性。在本部分中，我们研究了模型的复杂度，包括嵌入大小、隐藏卷积层的深度以及它们对任务的影响。

不同的嵌入尺寸。我们的嵌入大小从8、16、32、64到128不等。对于较大的嵌入大小，我们需要在模型上添加稍微强一点的正则化器。使用适当的正则化因子，我们没有发现F-1得分方面的显著差异。

改变层的深度。实际上，我们隐藏的卷积层的深度对F-1的分数影响很大。随着隐藏层的加深，我们的模型倾向于在更大程度上聚集来自邻域的转换信息。我们在图5中显示了隐藏层不同深度的F-1分数。

隐藏层深度为1的F-1分数由于图的异构性而不能很好地工作。我们的模型需要通过设备在帐户之间“交换”信息，这需要至少两个邻居跳来查看。

4.3.4 注意系数。在本节中，我们通过使用数据集“第1周”说明估计的注意系数，来研究每种类型的设备在识别恶意帐户方面的贡献。我们在表4中显示了分配的注意系数。结果表明，异构图中不同类型的节点对恶意账户的识别有不同的影响。

在图3中，我们举例说明了一个以边的厚度作为相应注意系数的连通子图。

4.3.5 在线结果。在实践中，我们每天都将我们的方法确定的前一万个得分最高的新注册账户视为风险账户。在这种策略下，支付宝安全部门经过长时间观察，评估的准确率在98%以上。与以前部署的基于规则的方法相比，我们的GEM可以覆盖10%以上的客户。因此，我们能够捕获更多高风险客户，同时保持非常有竞争力的精确度。

5 结论

在本文中，我们展示了我们的经验，设计新颖的图形神经网络，以检测成千上万的恶意帐户每天支付宝。特别地，我们总结了攻击者的两个基本弱点，即“设备聚合”和“活动聚合”，并自然地提出了一种基于异构帐户设备图的神经网络方法。这是首次将图神经网络方法应用于欺诈检测问题。与竞争方法相比，我们的方法获得了很有前途的精确召回曲线。此外，我们还讨论了将直观连通子图方法重新表述为我们的图神经网络方法的想法。在未来，我们有兴趣建立一个基于动态图的实时恶意账户检测系统，而不是提出的日常检测系统。