《图机器学习》-Traditional Methods for Machine Learning in Graphs

前言

图机器学习任务可以分为三种：

• Node-level prediction：节点级的预测
  • 如对节点进行类别预测
• Link-level prediction：边级的预测
  • 如预测两节点之间以多大的概率存在一条边
• Graph-level prediction：图级的预测
  • 如预测某个分子是否含有某种属性

---

传统的机器学习会去设计节点、边、图的特征向量，然后获取一组有标签的训练集数据，在这组训练集上去训练机器学习模型(如$Randomforest$、$SVM$、$Neuralnetwork$)。

对于新的节点、边、图，将其特征向量作为机器学习模型的输入与并得到预测。
【即主要做的是学习一个函数$f$，$f$能够有效的将输入的特征向量$x$映射到输出$y$】

所以，使用传统算法，在图上使用有效的特征是获得良好模型性能的关键。

---

本章节主要探讨在节点、边、图上如何设计合适的特征向量。为了方便，仅关注无向图。

一、Node-Level Tasks and Features

先举一个半监督学习的例子：

绿色、红色分别代表不同类型的节点，灰色节点代表待分类的节点。如下图；

现想将灰色的节点进行分类，我们将度数大于等于2的节点归类为绿色节点，度数为1的节点归类为红色节点。

所以我们需要找到一个来能表示节点属性的feature来进行分类；上述例子中的feature是节点的度。

---

所以我们的目标是：
找到能够描述节点在网络中结构与位置的特征

可行的特征有：

• $Nodedegree$
• $Nodecentrality$
• $Clusteringcoefficient$
• $Graphlets$

---

$Nodedegree$：

节点度$k_v$表示的是节点$v$相邻节点的个数。如下图；

节点度的缺点是：对所有的邻居一视同仁。

如$C$节点和$E$节点的度数$k$都为3，所以通过$Nodedegree$会判定这两个节点具有相同的属性特征。

然而两个节点在空间上的位置不同，邻居节点也不同，可能会具有不同的重要性或者属性特征。但是通过$Nodedegree$并不能表示出这一不同。

---

$Nodecentrality$：

$Nodecentrality$特征考虑了图中节点的重要性，我们用$c_v$来表示$v$节点的$Nodecentrality$特征值。

下面主要介绍三种不同可以衡量节点的重要性的$Nodecentrality$：

• $Engienvectorcentrality$
• $Betweennesscentrality$
• $Closenesscentrality$

---

$Engienvectorcentrality$：

思想：
如果节点$v$被重要的相邻节点包围，则节点$v$是重要的。

因此节点$v$的$c_v$为其相邻节点$centrality$的和，计算公式如下：
$$c_v=\frac{1}{\lambda }\sum _{u\in N(v)}{c}_u$$

• $\lambda$是一个用于标准化的常数，其值一般为邻接矩阵的最大特征值

将上诉式子向量化：

$$c_v=\frac{1}{\lambda }\sum _{u\in N(v)}{c}_u⟺\lambda c=Ac$$

• $A$：邻接矩阵；$A_{uv}=1ifu\in N(v)$
• $c$：$Centralityvector$
• $\lambda$：$A$的特征值，通常将$A$的最大特征值${\lambda }_{max}$对应的特征向量$c_{max}$当作$centrality$

---

$Betweennesscentrality$：

思想：
如果一个节点位于其他节点之间的许多最短路径上，那么它就很重要。

其公式如下：

$$c_v=\sum _{s\ne v\ne t}\frac{从节点s到节点t中途经过节点v的最短路径数量}{从节点s到节点t最短路径数量}$$

实例：

---

$Closenesscentrality$：

思想：
如果一个节点到所有其他节点的最短路径长度很小，那么这个节点就很重要。

其公式如下：

$$c_v=\frac{1}{{\sum }_{v\ne u}从u到v最短路径长度}$$

即$c_v$值为从$v$到其他节点最短路径之和的倒数。

实例：

---

$Clusteringcoefficient$：

$Clusteringcoefficient$通过测量邻居节点的连接情况来描述节点的特征，公式如下：

$$e_v=\frac{节点v邻居节点之间的边数}{C_{k_v}^2}\in [0,1]$$

• $e_k$：节点$v$的$Clusteringcoefficient$
• $k_v$：节点$v$的度
• $C_n^m$：组合数

$C_{k_v}^2$表示邻居节点之间有可能构成多少条边，上式的分子表示实际上邻居节点之间存在多少条边，所以$e_v$可以看作是衡量节点邻居的连接有多紧密的度量。

例子：

第一幅图：$e_v=\frac{6}{C_4^2}=\frac{6}{6}=1$
第二幅图：$e_v=\frac{3}{C_4^2}=\frac{3}{6}=0.5$
第三幅图：$e_v=\frac{0}{C_4^2}=\frac{0}{6}=0$

---

一个观察：

我们可以以顶点$v$为根，通过计算图片中三角形的数量来评估其重要性。如下图：

在社交网络中，会存在很多这种三角形，因为你的两个朋友可能会以你为媒介相互认识，从而构成一个三元组，形成一个三角形。

将上述观察进行扩展，将寻找三角形替换成：寻找某些预定义的子图$pre-specifiedsubgraph$，这就是下面将要介绍的$graphlets$。

---

$Graphlets$：

$Graphlets$中文翻译为：根连通诱导非同构子图。

如上图：给出了至多5个节点的73个不同的$graphlets$。

什么是$graphlets$？
给定节点个数$k$，$k$个节点构成的异构(化学上的异构)图为可称为$graphlets$

以3个节点为例，规定了3个节点，3个节点可以构造出两个异构图$G_1、G_2$，$G_1、G_2$就是两个$graphlets$。

图中标数字的节点表示为可以当做根的节点，如$G_1$，该图以中间节点对称，所以头结点和尾结点是等价的，所以可以作为根的只有其中一个端结点和中间结点。再如$G_2$，三个顶点都是等价的，所以只能选择其中一个作为根。

---

$GraphletDegreeVector(GDV):$
基于给定根节点的$graphlets$的计数向量

例子：

我们要计算图$G$关于$u$的$GDV$，即给定了根节点$u$。

这里$graphlets$是结点至多为3的异构图集合：

首先考虑第一个$graphlet$，然后在图$G$寻找：将$a$放到$u$的位置，寻找可以以$graphlet$结构构成诱导子图的个数；这里可构成的个数是2；如下图：

再考虑第二个$graphlet$，如下图：

再考虑第三个$graphlet$，

• 首先考虑以$c$为根的$graphlet$
  数量是$0$，$G$中存在第三个$graphlet$的结构，但是构不成$graphlet$的诱导子图。因为$G$中的相比$graphlet$多了一条边(下图的红色)边。
  

• 其次考虑以$d$为根的$graphlet$，如下图
  

所以结点$u$的$GDV=[2,1,0,2]$

---

二、Link-Level Tasks and Features

$linklevelPrediction$的任务是根据现有链路预测新的链路。在测试模型的时候，对图中不存在的链接预测其存在的概率后对其进行排序，将排在前$K$个最可能存在的链接作为预测结果返回。

该任务的关键是为一对顶点设计合适的特征。

因为预测的链路都是不存在的，所以只能够通过顶点的来抽象的描述这条不存在链路的特征。

---

$linkprediction$任务解决的两种方案：

1. $Linksmissingatrandom$(随机丢失链接)：
   该方法主要用于静态图中，随机的去除图中的一些边，然后训练一个模型以最大化的概率去预测这些去掉的边。
2. $Linksovertime$(随时间变化的链接)：
   该方法主要用于动态图中，给定一个$t_0$到$t_0^{{}^{\prime }}$时刻的图$G[t_0,t_0^{{}^{\prime }}]$,然后训练一个模型能够输出一个按照链接出现概率为排名的列表$L$，该列表$L$中的链接是在$G[t_0,t_0^{{}^{\prime }}]$不存在的链接，但在下一时刻的图$G[t_1,t_1^{{}^{\prime }}]$中出现的链接。

---

链接预测步骤：

• 描述链接存在可能性，需要对每对顶点$(x,y)$，计算出一个分数$c(x,y)$，当作其存在的概率的评估。
• 按照分数$c(x,y)$对每对顶点$(x,y)$进行排序
• 取前$n$个顶点对作为链接预测的返回结果
• 评判预测结果

---

关于顶点对的分数，可以以下三种方式给出：

• $Distance-basedfeature$
• $Localneighborhoodoverlap$
• $Globalneighborhoodoverlap$

该分数可以当作链路的$feature$用于链路预测。

---

$Distance-basedfeature$：

思想：
两个节点之间的最短路径距离作为该顶点对的得分/feature。

例子：

该方法的缺点在于没有考虑顶点对邻居的重合度。

如顶点对$(B,H)$之间有共同的两个邻居，顶点对$(B,E)$之间只有一个共同的邻居，然而这两个顶点对的得分都是$2$；即$distance-basedfeature$并不能够表示出该信息。

---

$Localneighborhoodoverlap$：

为了能够表示出顶点对邻居的重合度，提出了$localneighborhoodoverlap$。

方式一：$Commonneighbors$
将共同的邻居作为其得分，公式为：
$$|N(v_1)\cap N(v_2)|$$

实例：
对于下图，顶点对$(A,B)$的得分为1，因为$A$和$B$只存在一个共同的邻居$C$，即 ∣ N ( A ) ∩ N ( B ) ∣ = ∣ { C } ∣ = 1 |N(A)∩N(B)|=|\{C\}|=1 ∣N(A)∩N(B)∣=∣{C}∣=1

该方式的问题在于：度高的顶点对就会有更高的结果。所以提出了一种类似于归一化的方式$Jaccard’scoefficient$。

方式二：$Jaccard’scoefficient$

其顶点对得分公式为：
$$\frac{|N(v_1)\cap N(v_2)|}{|N(v_1)\cup N(v_2)|}$$

实例：
对于下图，顶点对$(A,B)$的得分为2，因为$A$和$B$只存在一个共同的邻居$C$，即 ∣ N ( A ) ∩ N ( B ) ∣ ∣ N ( A ) ∪ N ( B ) ∣ = ∣ { C } ∣ { ∣ C , D ∣ } = 2 \frac{|N(A)∩N(B)|}{|N(A)∪N(B)|}=\frac{|\{C\}|}{\{|C,D|\}}=2 ∣N(A)∪N(B)∣∣N(A)∩N(B)∣​={∣C,D∣}∣{C}∣​=2

方式三：$Adamic-Adarindex$

其顶点对得分公式为：
$$\sum _{u\in N(v_1)\cap N(v_2)}\frac{1}{log(k_u)}$$

即对顶点对的共同邻居的度取对数；

该方法当共同的邻居结点的度较少时，会获得更高的得分。$Adamic-Adarindex$在实践中表现得比较好，尤其在社交网络上，因为我们希望有一堆度数低的共同好友比有一堆名人共同好友的得分更高。

---

$Globalneighborhoodoverlap$：

$localneighborhoodfeatures$存在得缺点：
当两个结点之间没有共同邻居，则该顶点对的得分很可能为0。但这两个顶点还是有可能被链接起来的。

如下图：

所以进一步提出了$globalneighborhoodoverlap$，该方法通过通过考虑整个图来解决这个限制。

$Katzindex$：

思想：
计算给定节点对之间所有长度的路径的总和，将其当作得分。

得分可表示为：
$$s_{u,v}=\sum _{l=1}^{\infty }(u到v长度为l的路径的条数)$$

那么如何计算长度为$l$的路径有多少条呢？

还记得邻接矩阵的定义：$A_{u,v}=1ifu\in N(v)$

将$P^{(}K{)}_{uv}$定义为从$u$到$v$长度为$K$的路径条数。

可以观察到：$P^{(1)}=A$，因为$A$表示的就是结点之间能否一跳到达。

如何计算$P_{uv}^{(2)}$呢？

• 步骤一：首先计算从$u$到$v$之间长度为$1$的路径的条数，这个可以直接根据邻接矩阵得出，我们表示为$P_{uv}^{(1)}$。
• 步骤二：对于长度为$2$的路径，可以看作：
  • 已知$P_{uv}^{(1)}$
  • 考虑$u$通过第$i$个结点再到$v$，以这样的方式将路径长度加一
  • 然后判断是否存在这一条路径，在将其结果相加即可，如下定义：
    $$P_{uv}^{(2)}=\sum _i{A}_{ui}\ast P_{iv}^{(1)}=\sum _i{A}_{ui}\ast A_{iv}=A_{uv}^2$$

${\sum }_i{A}_{ui}\ast P_{iv}^{(1)}$：

• $P_{iv}^{(1)}=x$则表示$i$到$v$有$x$条长度为$1$的路径
• $A_{ui}=1$表示存在$u$到$i$的路径；反之不存在。
• $A_{ui}\ast P_{iv}^{(1)}$表示：我$u$先通过$i$，再经过$i$到$v$这条长度为$1$的路径存不存在。若不存在则数值为0，存在其值就是路径的个数。

可以通过数学归纳法去证明，当执行到第$i$步：

• 已知$P_{uv}^{(i-1)}$，求$P_{uv}^{(i)}$
• $P_{uv}^{(i)}$定义如下：
  $$P_{uv}^{(i)}=\sum _i{A}_{ui}\ast P_{iv}^{(i-1)}=\sum _i{A}_{ui}\ast A_{iv}^{i-1}=A_{uv}^i$$

所以最后得到结论：
$$P^{(k)}=A^K$$

所以$Katzindex$的定义更新如下：

$$S_{u,v}=\sum _{l=1}^{\infty }{\beta }^l{A}_{u,v}^l$$

• $\beta$：$discountfactor$($0<\beta <1$)，其作用时希望路径长度越长的路径权重越小，即对得分的贡献越小。

上面的定义可以进一步推导成：
$$S_{u,v}=\sum _{l=1}^{\infty }{\beta }^l{A}_{u,v}^l=(I-\beta A{)}^{-1}-I$$

推导过程：
$S=\beta A+{\beta }^2{A}^2+\cdots +{\beta }^{\infty }{A}^{\infty }$
.
$(I-\beta A)(I+S)$
$=(I-\beta A)(I+\beta A+{\beta }^2{A}^2+\cdots )$
$=(I+\beta A+{\beta }^2{A}^2+\cdots )-(\beta A+{\beta }^2{A}^2+{\beta }^3{A}^3+\cdots )$
$=I$
.
因此，$S_{u,v}=(I-\beta A{)}^{-1}-I$

---

三、Graph-Level Tasks and Features

Graph-Level Features的目标是：
想要得到一个描述整个图结构的features。

---

$KernelMethods$：

在传统的ML中，$kernelmethods$被广泛用于图级预测。

该方法的中心思想是：
设计一个核函数来用于图级任务的完成，而不是设计特征向量。

$Kernels$的简单介绍：

• $kernel$ $K(G,G^{{}^{\prime }})\in R$，其值表示图$G$和$G^{{}^{\prime }}$的相似度
• 存在图级的特征表示$\varphi (\cdot )$使得：$K(G,G^{{}^{\prime }})=\varphi (G{)}^T\varphi (G^{{}^{\prime }})$
  • $\varphi (\cdot )$可以不被显示的给出，所以定义了核函数就可以用于机器学习模型(如$kernelSVM$)

---

$GraphKernels$：用于衡量两张图之间的相似程度。具体的核函数方法有以下两种：

• $GraphletKernel$
• $Weisfeiler-LehmanKernel$

当然还有其他核函数，本文不做介绍：

• Random-walk kernel
• Shortest-path graph kernel
• And many more…

---

$GraphKernel$的思路：

• 先设计图级的特征向量$\varphi (G)$。
• 在通过$\varphi (G{)}^T\varphi (G^{{}^{\prime }})$得到核函数值

关键思想： Bag-of-Words (BoW) for a graph

首先了解什么是Bag-of-Words：
在文本任务中，会简单的使用单词的数量作为该文本的特征向量。
如下面的句子：
$$S=“IamSam,Iambatman"$$
我们可以用下面的向量标识该文本：
$\varphi (S)=\begin{array}{c}IamSambatman\\ \left[\begin{array}{ccccccc}2& & 2& & 1& & 1\end{array}\right]\end{array}$

可以将图的结点当作单词，然后使用$BOW$；如下图，由于两个图都有4个节点，所以得到了两个不同图的相同特征向量。

我们也可以将图结点的度作为单词，使用$BOW$；如下图：

Graphlet Kernel和Weisfeiler−Lehman Kernel都运用了$Bag-of-\ast$的思想表示一张图，$\ast$是一个比结点度、结点数量更复杂的度量。

---

$GraphletKernel$：

思路：
计算图中不同的$graphlets$的数量。

注意：
图级的$graphlets$和结点级的$graphlets$在定义上有些不同：

• 图级的graphlet中的$graphlet$可以是不连通的，而结点级的$graphlet$必须是连通的。
• 图级的$graphlet$不需要指定根节点。

例子：

当图的节点个数为3时，有4个$graphlet$；如下图：

当图的节点个数为4时，有11个$graphlet$；如下图：

给定图$G$，使用$g_k=(g_1,g_2,\cdots ,g_{nk})$表示节点至多为$k$的$graphlet$列表。

并定义$G$的$graphletcountvector$为$f_G\in R^{n_k}$，定义如下：

$$(f_G{)}_i=G中存在g_i的诱导子图的个数$$

以$k=3$为例，如下图：

给定两个图$G、G^{{}^{\prime }}$，$graphletkernel$的计算公式如下：

$$K(G,G^{{}^{\prime }})=f_G^T{f}_{G^{{}^{\prime }}}$$

当$G$和$G^{{}^{\prime }}$的节点数量相差很大时，$f_G$和$f_{G^{{}^{\prime }}}$里面的值的数量级也会相差很大，所以在$graphletkernel$的计算前先对其使用归一化：

$$h_G=\frac{f_G}{Sum(f_G)}，K(G,G^{{}^{\prime }})=h_G^T{h}_{G^{{}^{\prime }}}$$

$graphletkernel$的缺点：

$graphlet$的计数是很昂贵的：

• 对于一个大小为n的图，通过枚举计算大小为k的graphlets需要n^k
• 子图同构检验是一个$NP-hard$问题

下面介绍一个更加高效的$graphkernel$:Weisfeiler−Lehman Kernel

---

$Weisfeiler-LehmanKernel$：

该方法的目标是：
设计一个更加高效的图特征描述向量$\varphi (\cdot )$

思想：
使用邻域结构迭代丰富节点信息。

实现算法:$Colorrefinement$

• 给定一个图$G$和一个顶点集$V$
• 为每个节点$v$都设置为一个随机的颜色$c^{(}0)(v)$
• 通过下式迭代的更新节点的颜色：
  c ( v ) ( k + 1 ) = H A S H ( { c ( k ) ( v ) , c ( k ) ( u ) u ∈ N ( v ) } ) c^{(k+1)}_{(v)}=HASH(\{c^{(k)}(v),c^{(k)}(u)_{u∈N(v)}\}) c(v)(k+1)​=HASH({c(k)(v),c(k)(u)u∈N(v)​})
  • $HASH()$表示为一个哈希函数
  • 通过上一轮迭代的顶点颜色和其邻居的颜色作为hash函数的输入，通过hash函数将不同的输入映射为不同的颜色
• 经过$K$步色彩迭代，$c_{(v)}^{(K)}$可以获取$K-hop$(K跳)邻域的节点结构信息

例子：

• 给定两张图$G_1、G_2$，随机设置色彩为$1$：
  

• 聚合邻居的色彩：
  

• 构建hash函数并更新图的节点色彩：
  
  【第一轮迭代结束】

• 汇聚邻居节点色彩：
  

• 构建hash函数并更新图的节点色彩：
  

• 假设只进行$K=2$轮迭代，我们可以得到图的特征向量：
  
  各维度表示该颜色在迭代过程中出现的次数。

• 最后将两图的特征向量做内积得到$WLkernel$：
  
  即这两个图的相似度为49。

$WLkernel$在计算更有效率：

• 每一步颜色汇聚更新的时间复杂度是线性的，因为它只涉及到聚集相邻的颜色。
• 在计算内核值时，只需要跟踪两个图中出现的颜色。因此，向量中最大的元素值只能是节点的个数。
• 计数颜色仅需要线性时间$O(n_k)$。
• 总的来说，时间复杂度是线性的