Adaptive Transfer Learning on Graph Neural Networks(KDD ’21, August 14–18, 2021, Virtual Event, Sin)

图神经网络的自适应迁移学习)

图神经网络的自适应迁移学习

引用请注明来源

下载链接：https://dl.acm.org/doi/pdf/10.1145/3447548.3467450

摘要：

图神经网络(GNN)被广泛用于学习图结构数据的强大表示。最近的研究表明，将知识从自我监督任务转移到下游任务可以进一步改善图的表示。然而，自我监督任务与下游任务在优化目标和训练数据方面存在着内在的差距。传统的预训练方法在知识迁移学习上可能不够有效，因为它们不能适应下游任务。为了解决这些问题，我们提出了一种新的GNN迁移学习范式，该范式可以有效地利用自我监督任务作为辅助任务来帮助目标任务。我们的方法在微调阶段自适应地选择并结合不同的辅助任务和目标任务。我们设计了一个自适应的辅助损失加权模型，通过量化辅助任务和目标任务之间的一致性来学习辅助任务的权重。此外，我们通过元学习来学习权重模型。该方法适用于各种迁移学习方法，不仅适用于多任务学习，而且适用于预训练和微调。对多个下游任务的综合实验表明，所提出的方法能够有效地将辅助任务与目标任务相结合，与现有方法相比，性能有显著提高。

计算方法：潜在表征学习;迁移学习;神经网络。

关键词图神经网络：迁移学习;多任务学习;GNN预训练;图表示学习

1 INTRODUCTION

GNN已经被证明能够有效地学习各种场景中的强大表示，包括推荐系统和社交网络。GNN通常以端到端的方式进行训练，并带有监督，这通常需要大量的标记数据，但任务特定的标记对于许多图形数据集来说可能是稀缺的。最近的一些工作研究了GNN的预处理和使用辅助任务来解决这些问题。它们的目标是将学到的知识从自我监督任务转移到下游任务，这些方法证明了利用大量的未标记数据可以进一步改善图的表示。然而，由于自我监督任务与下游任务在优化目标和数据分布上的差异，预训练与微调之间存在着内在的差距。此外，传统的预训练方法没有意识到哪个自我监督的任务更有利于下游任务，也没有对其进行任何适应。这导致知识迁移对下游任务不够有效。在提高迁移学习对GNN的有效性、充分，利用信息进行自我监督以及充分适应下游任务方面，鲜有探索。
在本研究中，我们探讨了自主监督任务与下游任务之间的有效知识迁移问题，这是GNN中相对于自然语言处理(NLP)的一个研究不足的问题。优化知识转移的有效性，缓解预训练模型与目标任务之间的差距是近年来自然语言处理研究的重点。通过使用LM作为防止灾难性遗忘的辅助任务来解决这个问题。
在这些研究成果的启发下，我们提出了一种新的泛迁移学习范式，该范式在微调阶段自适应地选择并结合各种辅助任务和目标任务，从而更好地适应下游任务。换句话说，我们将目标任务中的优化目标与辅助任务中的多个目标相结合。这保留了自我监督任务获取的足够知识，同时提高了GNN迁移学习的有效性。

挑战

从基于图的自我监督任务中转移知识是学习更好的图表示的强大工具。对DGI、边缘生成、属性屏蔽和路径预测等多种图形自监督方法进行了研究，并证明了它们的有效性。额外辅助任务对目标任务有益的基本原理是，辅助任务与目标任务共享一些未知信息，并在一定程度上帮助学习对目标任务有益的特征。然而，辅助任务和目标任务之间的相关性可能大或小，并可能随着训练而变化。一项辅助任务可能在训练开始时对目标任务有帮助，但在训练的后期阶段可能不再有用。如果辅助任务的权重分配不恰当，甚至会损害目标任务，这意味着会出现负迁移。
图保存了多样性的信息，下游的任务也具有多样性，单一的辅助任务无法充分挖掘所有的有机信号。以前在图学习中涉及多个自我监督任务的工作通常使用先验直觉手动设置每个任务的权重，例如假设所有辅助任务都同等重要，或者考虑每个任务的损失大小。我们分析了不同辅助任务组合的效果。从图1可以看出，任务的权值是关键的，不同的权值组合会导致目标任务的结果不同，组合不好会导致负迁移。我们还发现同一组权重在多任务从头学习和预训练和微调(在该方案中，我们在微调阶段添加了辅助任务)两种转移方案中表现不同。因此，使用辅助任务的挑战在于选择和组合不同的辅助任务的难度，尤其是在任务数量增加的情况下。在图迁移学习中，特别是在预训练后的微调阶段添加辅助任务，这仍然是一个有待探讨的问题。
相关工作试图在训练过程中自适应地调整每个任务的权重。我们比较了两种方法，一种是多任务学习，另一种是在预训练后的微调阶段添加辅助任务。我们发现这种辅助任务加权策略在多任务学习中可能是有效的，但在预训练和微调方案中可能会失败。我们认为这是因为辅助任务对目标任务的重要性在不同的学习阶段会发生变化。在多任务学习中，目标任务和辅助任务都是从零开始训练的;而在训练前和微调中，模型已经通过大量的训练前数据学习。

贡献

(i)提出了一种新的基于GNN的泛型迁移学习范式，该范式自适应地选择并结合图上的各种辅助任务。它能更好地适应目标任务，提高知识转移的有效性。我们通过测量辅助任务和目标任务之间的梯度余弦相似度来量化辅助任务和目标任务之间的一致性，并设计了一个自适应的辅助损失加权模型，通过考虑该信号来学习辅助任务的权重。此外，通过元学习可以优化权重模型。
(ii)我们对多任务学习和跨多个数据集的预训练和微调进行了综合实验。我们的方法优于其他方法，并取得了最先进的结果。值得一提的是，我们的方法在预训练和微调方面表现良好，而其他方法可能并不有效。我们的方法并不局限于GNN 场景，而是一种通用的迁移学习范式，可以灵活地应用于各种迁移学习场景，如NLP或计算机视觉(CV)。
(iii)我们进一步进行深入分析，研究本署的方法与其他基线方法相比的优势。

2 相关工作

2.1 基于图的预培训和多任务学习

预训练是一种将所学知识从相关任务中迁移到目标任务中以提高泛化能力的常见而有效的方法。一般的方法是在大量的无标签文本语料库上预先训练语言模型(LM)，然后在监督数据上对模型进行微调。最近，研究人员探索了gnn的预训练，以使从大量的未标记图数据中更有效地学习图。多任务学习是通过同时训练监督任务和自我监督任务的共同目标来实现共享表示的另一种常用方法。[13]设计了一组辅助任务来学习图的异构性，并尝试将这些知识从辅助任务转移到目标任务。[35]试图比较三种对GCNs的自我监督方案。
然而，由于自主监督任务与下游任务在优化目标和数据分布方面的差异，使得GNN的知识迁移具有挑战性。优化知识迁移的有效性，缓解预训练模型与目标任务之间的差距是近年来自然语言处理研究的热点。[9]显示在给定任务的未标记数据上的LM的连续预列对下游任务是有益的。朝着同样的方向，[3]通过使用LM作为辅助任务来解决这个问题，以防止灾难性遗忘。此外，[7]显示了进一步适应大语料库的领域数据和任务的无标签数据的重要性。在这些作品的启发下，我们认为在迁移过程中，来自自我监督任务的知识都需要进行预训练和微调。

2.2 图表上的自我监督任务

自我监督是学习更具有可转移性、泛化性和鲁棒性表征的一个有前途的方向。近年来，图表上的自我监督任务的研究引起了广泛的关注。图结构数据提供了丰富的信息，使我们能够从不同的角度设计自监督任务，例如节点属性、底层图结构或图的异构性等。例如，边缘生成和上下文预测将出现在本地上下文中的节点映射到附近的嵌入。K-hop上下文预测试图保持图的全局拓扑，以更好地表征节点之间的相似性和差异性。还有一些方法(DGI、InfoGraph等)引入了Graph informmax，它最大化了本地和全局表示之间的相互信息。此外，属性生成[10]确保在节点嵌入中编码节点属性的某些方面。
还有一些研究，研究了相同的辅助任务在不同的下游任务上表现不同，有时甚至会导致负迁移。我们认为，图表上的多种信息可以通过不同的辅助任务捕获，它们的交互和组合为我们学习更强大的表示提供了巨大的机会。

2.3 辅助任务权重

过去的工作已经证明，同时学习多个相关任务的多任务学习或辅助学习通过共享一个表示可以获得更好的泛化。这些方法的目标包括在所有任务中获得最佳性能，并且仅针对目标任务。本文只讨论后一种情况。这些方法的成功取决于辅助任务与目标任务的匹配程度，以及如何将这些损失与目标任务结合起来。然而，辅助任务的有用性是不容易知道的，而且可能会随着培训而改变。
每个辅助任务的权重通常是手动设置使用先验直觉或通过超参数调优上述GNN自我监督工作。随着辅助任务数量的增加，确定权重变得更加困难。
最近的研究研究了各种加权策略来平衡任务。有些算法对所有任务一视同仁，并根据梯度范数或任务不确定性来调整权重。还有一些工作评估辅助任务对目标任务的有用性，并相应地调整权重，使更有用的任务获得更高的权重。[5]提出使用梯度相似度在一个辅助任务和目标任务之间的共享参数来决定辅助任务的有用性。最近的一些研究使用元学习辅助任务选择。[19]提出了一个优雅的解决方案，通过分解现有的类来生成新的辅助任务。利用元学习自动选择和平衡任务，并将知识从辅助任务转移到目标任务。本文利用元学习方法学习一个权重函数，该函数考虑了辅助任务对目标任务的一致性。

方法

在接下来的文章中，我们首先解释了预训练和微调之间存在的差距，并提出了我们的通用辅助损失转移学习框架。这个框架的目标是有效地利用自我监督任务作为辅助任务来帮助目标任务。随后，我们引入了基于任务相似度的自适应辅助损失加权算法，该算法设计了一个自适应辅助损失加权模型，通过量化任务相似度来学习辅助任务的权重，并通过元学习对模型进行优化。最后，讨论了该方法的通用性和有效性。

3.1 一般辅助损失转移学习框架

图的预训练的一个经典范例是先在大量的未标记数据上通过自我监督任务对一般GNN模型进行预训练，以实现下游任务的良好初始化。网络的训练目标如下:

然后在微调过程中，通过预先训练的模型初始化共享GNN模型，并通过监督数据对下游任务进行微调。微调的目的是优化以下内容:

预训练的目的是学习一些可以转移到下游的任务的一般的和关键的特征;然而，自我监督任务的训练目标与监督任务的训练目标之间存在差距，而且这预训练的训练范式对下游任务的适应性不够，导致知识迁移不够有效。据我们所知，只有一篇文章[22]在图上研究了这一问题，它提出了一种构造预训练阶段来模拟下游任务的微调过程的方法，直接优化了预训练模型对下游任务的快速适应性。提出了一种基于GNN的迁移学习范式，该范式能够在微调阶段自适应地选择并结合不同的辅助任务和目标任务，从而更好地适应下游任务，提高知识迁移的有效性。我们的方法可以自动地从一个任务集中为下游任务选择最有用的任务，并平衡它们的权重。它是一种原则和通用的方法，可以应用于各种辅助任务。

图2说明了我们提出的通用辅助损失转移学习框架。在我们的方法中，我们首先通过自我监督任务预先训练一个GNN模型。然后我们转移预训练模型的参数，并在联合损失的情况下对其进行微调。联合损失是目标任务的损失和多个辅助损失的加权总和。我们还为这些随机初始化的辅助任务添加了多个特定的任务层。在微调中添加辅助损失可以避免灾难性遗忘，并更好地适应目标任务，从而产生更强大的表示。微调过程中新的联合损失可表示为:

3.2 基于任务相似度的自适应辅助损失加权

在之前的工作中，在图上选择辅助任务的过程似乎过于启发式，没有任何模式可循，这可能会产生一些问题。首先，当辅助任务数量K增加时，计算将变得非常昂贵。此外，每个辅助任务的有效性在训练过程中可能会发生变化;使用固定值作为权重可能会限制甚至损害性能。
我们提出了使用任务相似度(AUX-TS)的自适应辅助损失加权(Adaptive Auxiliary Loss weighted using Task Similarity, AUX-TS)，它量化了每个辅助任务与目标任务的相似度，并利用应用辅助任务后获得的信息在训练过程中学习权重。

(1)加权模型量化了每个辅助任务对目标任务的一致性

该方法设计了一个加权模型来学习对目标任务最有利的不同辅助任务的权重。权值模型是一个2层的MLP网络，以当前数据和任务相关的信号作为权值的输入和输出。
[5]提出使用任务之间的梯度余弦相似度来表示任务之间的相关性，并证明了该方法的有效性。然而，该方法仅使用余弦相似度信号，基于规则来确定是否采用辅助任务的梯度。此方法中的权值不能被优化。受此作品[5]的启发，我们的方法遵循一个有用的辅助任务应该提供梯度方向的原则，这有助于减少目标任务的损失。
具体来说，我们通过测量辅助任务和目标任务之间的梯度余弦相似度来量化辅助任务和目标任务的一致性。并设计了一个自适应的辅助损失加权模型，通过考虑该信号来学习辅助任务的权重。

(2)通过元学习优化加权模型

最近的一些研究[13,19]提出了使用元学习来学习元参数的想法，元参数本身被用于另一个学习过程。该方法将权重模型作为元参数，在训练过程中根据目标任务对其进行优化。具体来说，我们分两个阶段训练两个网络。第一阶段是优化产生所有任务权值的权重模型，第二阶段是在多任务学习方案中优化目标和辅助任务组合的共享GNN网络。
第一阶段，利用目标任务的损失对权值模型进行优化，鼓励生成一组权值，将这些权值加权的联合损失用于训练GNN，使目标任务的性能达到最大化。
任务间的梯度相似度是任务一致性的一个重要指标。我们将加权模型表示为作为输入的辅助任务和目标任务之间的相似度是梯度的:

联合损失可以表述为:

通过上述总损失对GNN进行一次更新后，利用更新后的GNN上目标任务的损失来优化加权模型。因此，将权值模型更新如下:

第二阶段，利用目标任务和辅助任务的联合损失训练GNN，通过加权模型确定不同任务的权重，我们将GNN的多任务目标定义为:

我们以迭代的方式训练两个网络直到收敛。假设我们使用梯度下降来更新两个网络，我们提出的方法在算法1中说明。

3.3 讨论

首先，我们提出的通用辅助损失转移学习框架可以缓解预训练和微调之间的差距，显著提高知识转移到下游任务的有效性和适应性。此外，它具有良好的通用性，可以应用于各种自我监督任务集和各种GNN模型。

其次，我们提出的AUX-TS算法在训练过程中通过元学习动态调整每个辅助任务的权重。我们在两种迁移学习方案中验证了我们的算法。一种是多任务学习，即随机初始化GNN模型。二是预训练和微调，用预训练较好的参数初始化GNN模型。考虑到这两种学习方式的不同，辅助任务在不同学习阶段的有用性也会发生变化。在多任务学习中，一些辅助任务对联合损失的贡献更大。预训练模型的知识迁移后，随着训练的进行，目标任务可能变得更重要，一些辅助任务可能变得不那么重要。该方法利用辅助任务和目标任务之间的梯度相似度作为信息信号来学习辅助任务的有用性。使其能够自适应地生成权重，并在两种方案中均有良好的表现。

4 评价

我们在四个数据集上评估了我们提出的方法，以证明我们的通用辅助损失转移学习框架和自适应辅助任务加权算法(AUX-TS)的有效性。为了评估我们的方法的通用性，我们在两个辅助任务、多个GNN模型和两种迁移学习方案上进行了实验。最后，我们综合分析了我们的方法与其他基线方法相比的优势。

4.1 Datasets and Baseline

Datasets

Baselines

我们提出的辅助加权方法可以应用于两种迁移学习方案，一种是多任务学习(MTL)，另一种是预训练和微调(P&F)。我们在这两种方案上使用基线方法来评估我们的方法。在所有的实验中，我们报告了基于三次独立运行的测试性能的平均值。

4.2 实验设置与结果

迁移学习包括边缘生成和属性生成。GCN[17]被选为OAG_CS和Reddit的基本模型。我们使用边缘生成和属性生成作为辅助任务，并遵循GPT-GNN[11]超参数设置，并在我们的实验中使用完整的标记数据。对于多任务学习，我们从零开始训练模型500/500 epoch，而对于预训练和微调，我们首先为20/50 epoch预训练GNN模型，然后在OAG_CS/Reddit上对下游任务进行500/500 epoch的微调。我们采用时间转移设置[11]对OAG_CS进行预训练和微调，具体来说，我们使用来自不同时间跨度的数据进行预训练(2014年之前)和微调(2014年以来)。我们随机分割Reddit, 70%用于预训练，另外30%用于微调(训练/有效/测试数据各占10%)。表2总结了不同方法在OAG_CS和Reddit上的性能。

带元路径预测的迁移学习。我们用多种GNN架构:GCN[17]、GAT[28]和GIN[32]评估了我们的Book-Crossing和Last-FM方法。我们使用元路径预测的五个辅助任务，并遵循SELAR[13]中的大多数超参数设置，超参数，如学习速率和批量大小，使用验证集对所有模型进行调整。对于多任务学习，我们从零开始对模型进行100/50 epoch的训练，而对于预训练和微调，我们首先对GNN模型进行100/50 epoch的预训练，然后在Last-FM/Book-Crossing上对其下游任务进行100/50 epoch的微调。由于这两个数据集的大小相对较小，我们在同一幅图上进行预训练和微调。表3总结了Book-Crossing和Last-FM的结果。执行和辅助任务的细节可在附录A/B中找到。

总之，本文提出的方法显著提高了所有数据集上所有下游任务的性能。与无辅助损失基线相比，我们的迁移学习框架能够有效地将各种辅助任务与目标任务进行自适应选择和结合，从而提高了目标任务的性能。特别是在预训练和微调的情况下，它缓解了预训练和微调之间的差距，能够更好地适应目标任务。平均而言，我们的方法在OAG_CS和Reddit上实现了相对于MTL/P&F下的无辅助损失基线分别5.61%/2.42%和1.43%/1.61%的性能增益，在Last-FM和Book-Crossing上实现了3.55%/1.31%和6.25%/4.31%的性能增益。这些数字证明了我们框架的有效性。此外，AUXTS始终优于其他辅助任务加权方法对所有数据集。
综合实验验证了该方法的通用性。
不同的迁移方案:考虑多任务学习与训练前和微调之间的差异，我们验证了我们的方法在两种迁移方案。从表2可以看出，固定权重和余弦相似度在预训练和微调方面不如在OAG上的多任务学习中有效，而AUX-TS在两种方案下都表现良好。
不同的辅助任务集:我们对两组辅助任务进行评价，发现AUX-TS极大地改进了结果，证明了AUX-TS可以灵活地应用于各种任务组合。
不同的GNN模型:表3显示，与其他基线方法相比，AUX-TS一致地提高了所有三个GNN的目标任务的性能。

4.3 进一步分析

AUX-TS避免了负迁移。在图3中，我们将我们的方法与GCN[17]和HGT[12]的其他基线方法的性能(MRR)曲线进行了比较。HGT是一个异构模型，比GCN复杂得多。AUX-TS方法在两种模型上的表现均优于固定权重法和余弦相似法，而这两种方法对HGT的性能都有一定的影响。我们可以观察到:1)辅助任务并不总是对目标任务有帮助;2)模型越复杂，越容易发生负迁移;3) AUX-TS可以成功避免两种模型的负迁移。
在训练过程中，AUX-TS自适应地为不同的任务分配适当的权重。从图4中AUX-TS在训练前和微调下的loss和weight曲线可以看出，在训练过程中，不同任务的权重发生了变化。目标任务的权值随着训练的增加而增加，而两个辅助任务的权值先增加后减少，AUX-TS给属性生成任务分配更高的权值。同时，目标任务和属性生成任务的损失都在不断减少，而边缘生成任务的损失在某一阶段开始增加。虽然边缘生成任务的损失有所增加，但我们在目标任务中取得了最好的结果。这证明了AUX-TS能够学习不同辅助任务的有用性，能够自适应地为目标任务选择具有适当权重的辅助任务。
梯度相似度是描述任务一致性的一个很好的指标，它会随着学习的变化而变化。由两种转移方案下Fixed Weights的梯度相似度曲线(如图5所示)可以看出，在多任务学习中，辅助任务与目标任务的梯度相似度在训练初期迅速上升，然后随着训练的进行逐渐下降。在微调阶段，预训练模型的知识转移到下游任务后，梯度相似度下降到一个更小的值。辅助任务的固定权重或不适当权重可能没有帮助，甚至导致负迁移，特别是在微调阶段。这进一步解释了为什么当模型在一个巨大的图上进行预训练时，其他一些加权方法对OAG_CS无效。而AUX-TS考虑了辅助任务与目标任务的一致性，因此在两种方案中都能很好地执行。
余弦相似度法也利用梯度相似度来调整权重。但是梯度相似度波动较大，辅助任务的有用性与梯度相似度之间并不是简单的正相关关系。不仅梯度相似度大的数据对目标任务有帮助，而且梯度相似度小的数据也有帮助。余弦相似度只使用梯度相似度大于零的那些。因此，这种基于规则的方法在利用这个重要信号进行权值学习时，效果并不理想。而在AUX-TS中，它是可以通过元学习学习的，AUX-TS的优点是可以动态更新权重模型，以适应最新的训练情况。我们发现，在多任务学习中，梯度相似度相对较大(-0.3 ~ 0.9)，权值变化曲线与梯度相似度曲线呈现一定的正相关关系，但在预训练和微调中，相似度相对较小(-0.2 ~ 0.4)，这种相关性变得微弱甚至相反

无论损失规模如何，AUX-TS表现良好。为了进一步证明AUX-TS相对于在加权模型中只使用损耗而不使用梯度相似度的SELAR的优势，我们对两个辅助任务的损耗尺度进行了调整。表4显示，SELAR对损失规模非常敏感，对重新调整的损失表现不佳，而AUX-TS在各种损失规模设置中表现良好

5 结论

在本研究中，我们提出了一种新的基于gnn的泛型迁移学习范式，该范式可以在微调阶段自适应地添加多种类型的辅助任务，以持续地整合各种先验。它可以提高知识转移的有效性，缩小培训前和微调之间的差距。此外，我们设计了一个自适应的辅助损失加权模型，通过量化辅助任务和目标任务之间的一致性来学习辅助任务的权重。这个模型是可以通过元学习学习的。通过对各种下游任务和迁移学习方案的综合实验，证明了该方法相对于其他方法的通用性和优越性。该方法的有效性已在gnn上得到验证，但并不局限于gnn场景。它是一种通用的迁移学习范式，可以灵活地扩展到各种迁移学习场景，如NLP或计算机视觉(CV)