对CARE-GNN论文学习介绍
前言
本文是对有关CARE-GNN论文的翻译后整理,由于笔者此时正值大一,部分专业名词的翻译或许并未很恰当,在此十分抱歉。本文也仅作为自行开发基于CARE-GNN的图像修复模型的一个自用文章,并无其他深意,如有雷同,纯属巧合,侵权会删改。希望大家多多指教。
1、Summary(简介)
包含该模型的目标、该模型基于GNN做出的改变、标注的含义、模型的优势。
模型目的,目前两种欺诈手段
目前为止,GNN(Graph Neural Network)广泛应用于对于伪装、欺诈的识别,但是其理论层次上,是有漏洞的,而在实际过程中,由于欺诈者十分灵活,文章抽象出两类欺诈表现,在这两类表现下传统GNN并不能很好地识别,两类分别为 1)特征欺诈 2)关系欺诈。
1)特征欺诈
主要是通过借用特殊字符或者人类可以理解的特殊表达方式,从而规避传统探测模型对特征的判断,从而降低自身嫌疑。
2)关系欺诈
通过模拟其他节点的特征,或与其他低可疑度节点建立联系,从而降低自身嫌疑。
相较于GNN的改变
为了应对以上两种欺诈方式,CARE-GNN又新增了3种模型,分别为label-aware similarity measure、similarity-aware neighbor selector、relation-aware neighbor aggregator。
标签相似感知模型(label-aware similarity measure)
这一模型其目的是从特征(feature)的角度入手,寻找最相似的节点作为相邻节点,具体操作是形成了一个分类器。
相邻节点相似度选择(similarity-aware neighbor selector)
基于关联,选择相似的节点建立连接,并采用强化学习的方法,自动优化连接节点的数目的阈值。
关系感知节点整合模型(relation-aware neighbor aggregator)
实现GNN中,节点直接整合的功能。
优势
1)适应性
2)高效、快速
3)可扩充性
符号说明
2、问题定义
定义2.1 多关系图(Multi-relation Graph)
G \mathcal{G} G={ V , X \mathcal{V, X} V,X, { ε r \large{\pmb{\varepsilon}}_r εεεr} ∣ r = 1 R \mid^{R}_{r=1} ∣r=1R,Y}
其中 V \mathcal{V} V={ v 1 \mathcal{v_1} v1, v 2 \mathcal{v_2} v2,…, v n \mathcal{v_n} vn} 代表节点集合,其中每一个节点 v i \mathcal{v_i} vi,都具有一个d维向量 x i ∈ R d \mathcal{x_i}\in\mathbb{R}^{d} xi∈Rd,作为其特征.。
X \mathcal{X} X={ x 1 , . . . , x n \mathcal{x_1},...,\mathcal{x_n} x1,...,xn} 作为所有节点的特征集合(个人感觉没啥用,为啥不合并一下,那节点集的意义在哪?)
e i , j r = ( v i , v j ) ∈ ε r e^{r}_{i, j} = (\mathcal{v_i},\mathcal{v_j})\in\large{\pmb{\varepsilon}}_r ei,jr=(vi,vj)∈εεεr为节点 v i , v j \mathcal{v_i},\mathcal{v_j} vi,vj之间关系为 r ∈ { 1 , 2 , 3 , . . . , R } r\in\begin{Bmatrix} 1,2,3,...,R \end{Bmatrix} r∈{1,2,3,...,R}的一条边,这里需要注意,相同两个节点的边可以有很多种关系,这里给出了最多R中关系。
Y是标签集,作为每一个 V \mathcal{V} V中节点的标签。
定义2.2 基于图的欺诈检测(Fraud Detection on Graph)
在目标检测问题中,节点 v \mathcal{v} v表示带检测的节点,其可信度未知。这里的节点在实际中可能是一些留言,或者一条交易信息。
当然,在这个是否欺诈的检测中,节点 v i \mathcal{v}_i vi的标签 y i ∈ \mathcal{y}_i\in yi∈{0, 1}, 其中0代表是好人(benign)而1代表骗子(suspicious)。
在该问题中,特征数目 R \mathcal{R} R可能是一些规则(Rules)、节点间的互动(interactions)、共有的属性(shared attributes)等等。
基于图的欺诈检测是一个关于节点的半监督二分类问题
该模型的训练方式,应当是给定一些已经标注的节点 v i \mathcal{v}_i vi及其信息 x i \mathcal{x}_i xi,并给出图的多重关系信息。而该模型将用于预测那些为被标注的节点。
定义2.3 基于GNN的欺诈检测(GNN-based Fraud Detection)
h v ( l ) \bold{h}^{(l)}_v hv(l) = σ ( h v ( l − 1 ) ⊕ A G G ( l ) ( { h v ′ , r ( l − 1 ) : ( v , v ′ ) ∈ ε r ( l ) ∣ r = 1 R } ) ) \sigma\begin{pmatrix} \bold{h}^{(l - 1)}_v \oplus\bold{AGG^{(l)}\begin{pmatrix} \begin{Bmatrix} \bold{h^{(l-1)}_{v^{'},r} : (\mathcal{v,v^{'}})\in\large{\pmb{\varepsilon}^{(l)}_r}}\mid^{R}_{r=1}\end{Bmatrix}\end{pmatrix}}\end{pmatrix} σ(hv(l−1)⊕AGG(l)({hv′,r(l−1):(v,v′)∈εεεr(l)∣r=1R}))
解析:
对中心节点 v \mathcal{v} v:
h
v
(
l
)
\bold{h}^{(l)}_v
hv(l)在第
l
\mathcal{l}
l层的隐嵌入(hidden embadding)(个人觉得这个翻译不好,是直译的,或许翻译为隐藏降维会好一点?将高维特征以低维的方式存储),其中
h
v
(
0
)
=
x
i
\bold{h^{(0)}_v} = \bold{x}_i
hv(0)=xi就是输入特征。个人感觉这就是一个在不断降维的过程?还是说在不断扩充信息?
ε r ( l ) \large{\pmb{\varepsilon}^{(l)}_r} εεεr(l)表示在 r \mathcal{r} r关系下第 l \mathcal{l} l层的边。
h v ′ , r ( l − 1 ) \bold{h^{(l-1)}_{v^{'},r}} hv′,r(l−1)是相邻节点 v ′ \mathcal{v^{'}} v′在关系 r \mathcal{r} r意义下的其嵌入(embadding)(这里还是认为应该翻译为压缩,或者降维,其本质可以简单理解为hash的加强版?或者理解为建立在小容量存储代价下的对于离散概念的数学抽象,以便于计算机读取。后文以压缩映射或压缩称呼)。
A G G \bold{AGG} AGG表示整合函数,其功能将相邻节点的信息从不同的关系映射为向量。(这里给了两个例子:平均整合、集中整合)。
⊕ \oplus ⊕代表一种运算,将中心节点 v \mathcal{v} v的信息与其相邻节点的信息进行组合,例如连接、求和。
对于这类问题,首先基于已有的知识(先验知识)构建一个多关系图,之后GNN用一部分节点标注的图进行训练,并由二分类损失函数进行监督。我们并不去直接整合相邻节点的所有关系,我们将整合函数分为两部分,内部关系整合和关系交互整合。在内部关系的整合中,相邻节点关于每一种类型的关系所产生的压缩映射被同步整合,之后,对于每种关系的压缩映射将会在关系交互这一步组合在一起。最终,最终层输出的压缩映射将用于进行预测。
3、模型
3.1模型梗概
对于每一个节点 v i \mathcal{v}_i vi,首先通过标签相似感知模型,寻找其相邻节点的相似度,之后我们通过相邻节点相似度选择模型,对每种关系过滤掉不相似的相邻节点,该选择模型使用强化学习的手段进行优化,在整合这一步,我们先进行内部关系整合,在进行关系交互整合。
3.2标签相似感知模型
对于前人研究所产生的关于伪装的问题,这一类伪装将会导致伪装的骗子与好人难以区分,进一步误导GNNs产生无信息节点的压缩映射。为了解决前文所述的特征伪装,我们认为提出一种相似度测量标准,将其用于过滤相邻节点,这一点在进行GNNs之前是非常有必要的。前人已经提出过余弦相似度和神经网络的方法,然而例如经济欺诈和观点欺诈需要额外的领域内知识才可以定义。例如观点(opinion)诈骗如果直接通过此前的无监督相似度检测,这是无法鉴定伪装的虚假评论的。因此我们需要一种参数化的相似度测量法,这种方法需要采用监督学习,从而获取领域内的专家知识(一些具有高正确率(高保真)的标注)。
对于参数化的测量方式, A G C N \bold{AGCN} AGCN采用了马氏距离加高斯核, D I A L − G N N \bold{DIAL-GNN} DIAL−GNN采用了参数化的余弦相似度,然而以上两种方式均受限于较高的时间复杂度 O ( ∣ V ∣ D ‾ d ) \mathcal{O}(\mid\bold{\mathcal{V}}\mid\overline{D}d) O(∣V∣Dd), D ‾ \overline{D} D代表平均节点度(average degree of nodes,个人感觉像是节点间的平均距离,见符号注释),这个量在实际问题中会数量级巨大,d则代表特征的维数
3.3相邻节点相似度选择
3.4关系感知节点整合模型
(未完待续~~)