【阅读笔记】Conditional Random Field Enhanced Graph Convolutional

Abstract

图卷积神经网络近年来引起了越来越多的关注。与标准卷积神经网络不同，图卷积神经网络对图数据进行卷积运算。与通用数据相比，图数据具有不同节点之间的相似性信息。因此，在图卷积神经网络的隐藏层中保留这种相似性信息非常重要。然而，现有的作品无法做到这一点。另一方面，强制执行隐藏层以保持相似关系具有挑战性。为了解决这个问题，我们提出了一种用于图卷积神经网络的新型 CRF 层，以鼓励相似的节点具有相似的隐藏特征。通过这种方式，可以明确地保留相似性信息。此外，所提出的 CRF 层易于计算和优化。因此，它可以很容易地插入到现有的图卷积神经网络中以提高其性能。最后，大量的实验结果验证了我们提出的 CRF 层的有效性。

---

Introduction

虽然卷积运算可以结合连通性信息，但不能保证得到的隐藏特征明确地保持相似关系。如果在隐藏特征中违反这种关系，下游任务将严重退化。因此，在图卷积神经网络的隐藏层中明确地保留相似性信息是重要且必要的。

为了保持新表示中的相似性关系，已经提出了许多方法 。最广泛使用的方法是拉普拉斯正则化，它已被用于各种任务，例如流形学习。然而，这种方法通常需要昂贵的特征分解。因此，它不适用于大规模的神经网络。另一方面，由于我们需要强制图卷积神经网络的隐藏层满足相似性约束，因此使用计算开销小且易于通过反向传播优化的轻量级操作是必要且重要的。因此，限制图卷积神经网络隐藏层的行为具有挑战性。

为了解决上述问题，在本文中，我们提出了一种新的 CRF 层来规范标准图卷积神经网络以保持相似关系。具体来说，我们借助 CRF 模型来限制图卷积层的隐藏特征。然后，我们发现 CRF 模型的解决方案可以被视为一个单独的层，以鼓励相似的节点具有相似的隐藏表示。如图 1 所示，这种新颖的 CRF 层可以插入到标准图卷积神经网络中，以规范卷积运算的输出。此外，所提出的 CRF 层易于计算和优化。因此，它是一个有效的正则化层来规范图卷积神经网络的隐藏层的行为。

---

Contributions

1. 我们为图卷积神经网络提出了一种新的 CRF 层，以鼓励相似的节点具有相似的隐藏特征。
2. 所提出的 CRF 层易于计算和优化。它可以很容易地插入到现有的图卷积神经网络中。
3. 大量的实验结果验证了我们提出的 CRF 层的有效性。

---

条件随机场CRF

条件随机场（CRF）是一种概率图模型，它在[26]中首次提出，用于预测序列数据的标签。后来，CRF被引入到结构化预测的不同任务中，例如图像分割[9]、信息检索[7]。本质上，CRF 能够对参考数据点与其上下文之间的成对关系进行建模，以改进最终预测。形式上，给定输入数据 xi，CRF 旨在通过最大化条件概率来预测 yi，如下所示：

 其中 Z (xi ) 表示作为归一化因子的配分函数，E(yi |xi ) 表示能量函数。

至于能量函数，它包括两个分量：一元能量分量和成对能量分量。一元能量函数给出每个单独数据点的预测。成对能量函数旨在捕获单个数据点与其上下文之间的相关性，以规范一元能量函数。因此，每个单独数据点的预测都可以从其自身信息和相邻数据点的信息中受益。形式上，能量函数定义如下：

---

Method

1、GCN

---

 2、CRF Layer

目标函数：

F表示图卷积神经网络映射，𝐹𝑙表示第l层中的映射，R(·) 表示用于实现相似性约束的正则化函数。

事实上，在传统的机器学习和数据挖掘模型中，这种正则化的工作很多。然而，由于我们的目的是限制图卷积神经网络层的行为，因此存在几个挑战：

1. 正则化项应该易于计算。它不能进行昂贵的计算。
2. 正则化项应该对反向传播策略友好。然后，神经网络仍然可以通过反向传播的方式进行优化。
3. 正则化项应该很容易插入现有的图卷积神经网络。

总而言之，获得一个高效且有效的正则化项是至关重要且具有挑战性的。

为了解决上述挑战，我们求助于条件随机场（CRF），它可以捕获不同节点之间的成对关系。

具体而言，节点表示𝐻𝑙 被视为随机变量{𝐻𝑖(𝑙).}，其中{Hi(l).}表示𝐻𝑙的第i行，对应于节点i的表示。这些随机变量的条件是{𝐵𝑖(𝑙)}：

 基于这些术语，我们有以下 CRF 模型：

 如前所述，能量函数包括两个分量：一元能量分量和成对能量分量。

表示节点i和j的相似性。

最后，节点 i 的能量函数定义如下：

 在获得能量函数后，我们需要为新的表示 𝐻(𝑙) 推导出一个易于处理和有效的更新规则。在这里，我们求助于平均场近似方法。基本思想是找到一个简单的分布来近似 P(𝐻(𝑙)|𝐵(𝑙))，而不是精确地计算 P(H(l)|B(l))。

最终，更新规则如下：

在等式（14）中，我们需要计算两个节点之间的系数 gij。事实上，有几个选择来实现它。在本文中，我们采用了两种方法，如下所示。

最直接的方法是使用 Gaussian 函数计算 gij，如下所示：

计算 gij 的另一个选择是灵活的神经网络，它比高斯函数具有更大的能力来处理节点 i 和节点 j 之间的相似性。具体来说，我们采用一层 MLP 来计算它，如下所示：

最后，方程（14）可以作为一个单独的层插入到现有的图卷积神经网络中。具体来说，如图 1 所示，对于 [23] 中提出的 GCN，我们可能有以下层配置：

 3、算法流程