ACL 2023--MetaAdapt: 通过元学习实现领域自适应的少量样本虚假信息检测

https://github.com/Yueeeeeeee/MetaAdapt

随着社交媒体上出现的新话题（例如COVID-19）成为虚假信息传播的来源，克服原始训练领域（即源领域）与这些目标领域之间的分布变化，仍然是虚假信息检测中的一项复杂任务。这对早期虚假信息检测提出了一个棘手的挑战，因为目标领域的良好数据和注释在训练时并不可用。为了解决数据稀缺问题，我们提出了MetaAdapt，这是一种基于元学习的领域自适应少量样本虚假信息检测方法。MetaAdapt利用有限的目标示例提供反馈，并指导知识从源领域转移到目标领域（即学习适应）。**具体而言，我们使用多个源任务训练初始模型，并计算它们与元任务的相似性分数。基于相似性分数，我们重新缩放元梯度，以自适应地从源任务中学习。因此，MetaAdapt能够学习如何调整虚假信息检测模型，并利用源数据在目标领域提高性能。**为了证明我们方法的效率和有效性，我们进行了广泛的实验，将MetaAdapt与最先进的基线和大型语言模型（LLMs）如LLaMA进行比较，结果表明MetaAdapt在领域自适应的少量样本虚假信息检测中表现更佳，并在真实世界数据集上显著减少了参数量。

1 Introduction

最近，由于在开发基于机器学习的方法方面取得了显著进展，虚假信息检测领域取得了重大进展（吴等人，2019年；舒等人，2020c；吴等人，2022b）。这些方法包括可以微调的大型语言模型（LLMs），用于检测和应对社交媒体平台上的谣言（姜等人，2022年；何等人，2023年；图夫龙等人，2023年）。然而，针对新出现话题的虚假信息仍然是现有方法面临的一个难以捉摸的挑战，因为训练（即源领域）和目标分布（即目标领域）之间存在很大的领域差异（岳等人，2022年）。例如，现有模型通常由于缺乏领域知识而无法检测早期虚假信息（见图1）。

随着社交媒体上新出现的话题（例如COVID-19）作为虚假信息的来源，未能区分这种早期虚假信息可能导致对公共利益的潜在威胁（Roozenbeek等人，2020年；陈等人，2022年）。为了解决跨领域早期虚假信息检测的问题，一种可能的解决方案是众包，它从在线资源中收集领域知识（Medina Serrano等人，2020年；胡等人，2021b；尚等人，2022a；Kou等人，2022b）。另一种替代方法是使用领域自适应方法将知识从标记的源数据转移到未标记的目标数据（张等人，2020年；李等人，2021年；Suprem和Pu，2022年；舒等人，2022年；岳等人，2022年；曾等人，2022年）。然而，前者方法使用大量的人工注释，而后者方法需要大量的未标记样本。 因此，现有方法对于检测跨领域早期虚假信息的效果较差，因为既不能提供大量的注释，也不能为目标领域提供样本进行训练。

尽管早期虚假信息数据不足，但通常可以以最低的成本获得有限的目标示例和注释（Kou等人，2021年，2022a；尚等人，2022c）。尽管如此，以前的方法并没有优化以在有限目标示例的指导下从源数据中学习（张等人，2020年；李等人，2021年；Mosallanezhad等人，2022年；岳等人，2022年）。这些方法通常不了解适应目标，因此无法最大限度地转移源领域知识。为了充分利用不同领域的现有数据，我们考虑了一个跨领域的少量样本设置，以适应虚假信息检测模型到一个看不见的目标领域（Motiian等人，2017年；赵等人，2021年；林等人，2022年）。也就是说，给定一个源数据分布和有限的目标示例，我们的目标是最大化模型在目标领域中的表现。这种应用的一个例子是将模型从假新闻检测适应到COVID早期虚假信息检测，其中现有的大量假新闻可以用于在有限的COVID虚假信息示例的指导下训练模型。

在本文中，我们设计了MetaAdapt，一种基于元学习的少量样本领域自适应方法，用于早期虚假信息检测。具体来说，我们利用源领域示例（即源任务）训练模型以获得任务梯度。然后，我们在少量样本的目标示例（即元任务）上评估更新后的模型，以推导出关于原始参数的二阶元梯度。我们另外计算任务梯度和元梯度之间的相似性，以选择更“信息丰富”的源任务，以便更新后的模型自适应地学习（从源数据中）以泛化，即使只有少量的标记示例。换句话说，元模型学会了重新加权源任务，目标是优化模型在目标领域中的表现。因此，得到的模型可以利用提供的源领域知识最佳地适应目标分布。为了展示我们基于元学习的自适应方法的有效性，我们专注于COVID-19的早期虚假信息，并在真实世界数据集上展示MetaAdapt的性能，其中MetaAdapt可以通过显著的改进一致性地超越最先进的方法和大型语言模型。我们总结我们的贡献如下：

1. 我们提出了一个用于领域自适应虚假信息检测的少量样本设置。在这里，标记的源数据和有限的目标示例被提供用于适应过程。
2. 我们提出了MetaAdapt，一种基于元学习的方法，用于少量样本领域自适应虚假信息检测。我们的MetaAdapt“学会适应”目标数据分布，即使只有有限的标记示例。
3. MetaAdapt可以通过重新缩放元梯度自适应地从源任务中学习。具体来说，我们计算源任务和元任务之间的相似性分数，以优化从源分布中的学习。
4. 我们展示了MetaAdapt在多个真实世界数据集上领域自适应虚假信息检测中的有效性。在我们的实验中，MetaAdapt一致性地超越了最先进的基线和LLMs。

2 Related Work

2.1 Misinformation Detection

2.2 Domain Adaptive Learning

**领域自适应学习旨在改善模型在给定标记的源领域的情况下对未见领域的泛化能力。**这类方法主要研究图像和文本分类问题（Li等人，2018年；Kang等人，2019年；Sicilia等人，2021年）。在图像分类中，现有方法最小化源领域和目标领域之间的表示差异，以学习领域不变特征，并将源知识转移到目标领域（Kang等人，2019年；Na等人，2021年）。类似地，领域对抗性和基于能量的方法采用额外的批评，通过这些批评对特定领域的特征进行正则化（Sicilia等人，2021年；Xie等人，2022年）。提出了类意识对比学习以进行细粒度对齐，通过正则化类间和类内距离来实现领域不变但类分离的特征（Li等人，2018年；Shen等人，2022年）。

在文本分类中，提出了各种方法来提高跨领域设置中目标领域的性能（Silva等人，2021年；Li等人，2021年；Ryu等人，2022年；Nan等人，2022年）。例如，领域对抗性训练被用来学习可泛化的特征，以检测跨领域多模态虚假信息（Wang等人，2018年；Lin等人，2022年；Shu等人，2022年）。强化学习和对比适应也被采用用于虚假信息检测中的细粒度领域自适应（Mosallanezhad等人，2022年；Yue等人，2022年）。然而，**领域自适应虚假信息检测在少量样本学习设置中并未得到很好的研究。**因此，我们将两种设置结合起来，开发了一种针对虚假信息检测中少量样本领域自适应的方法：MetaAdapt。通过利用通过提出的元目标进行的知识转移，我们的方法仅使用少量标记示例就显著提高了域外虚假信息的性能。

2.3 Few-Shot Learning

少量样本学习的目标是在只有少量标记示例的情况下学习新任务（Wang等人，2020年）。现有的少量样本学习方法（例如，原型网络）在度量空间中学习类别特征，以快速适应新任务（Vinyals等人，2016年；Snell等人，2017年）。元学习方法通过二阶优化为未见过的少量样本任务寻找最优初始参数（Finn等人，2017年；Rajeswaran等人，2019年；Zhou等人，2021年）。在计算机视觉中，少量样本领域自适应被研究用于图像分类，以将知识转移到未见的目标领域（Motiian等人，2017年；Tseng等人，2019年；Zhao等人，2021年）。对于语言问题，提出了元学习方法来提高语言建模和虚假信息检测中的少量样本性能（Sharaf等人，2020年；Han等人，2021年；Salem等人，2021年；Zhang等人，2021年；Lei等人，2022年）。

据我们所知，通过元学习进行少量样本领域自适应虚假信息检测在当前文献中尚未被研究。此外，提到的少量样本设置在现实世界场景中（例如，检测新话题上的谣言）可能是有帮助的。因此，我们提出了基于元学习的MetaAdapt用于虚假信息检测。MetaAdapt利用有限的目标示例，并通过任务相似性自适应地利用源领域知识，从而提高在未见目标领域中的少量样本虚假信息检测性能。

3 Preliminary

我们考虑以下领域自适应少量样本虚假信息检测的问题设置：可用于训练的标记源数据和k-shot目标示例（即每个类别k个示例）。我们框架的目标是训练一个虚假信息检测模型f，该模型使用源数据和少量样本目标示例针对目标领域的性能进行优化。

数据：我们的研究定义在单源自适应虚假信息检测的范围内（即，我们研究从单一源领域到目标领域的适应问题）。我们用Ds表示源领域，用Dt表示（不同）目标领域。在我们的设置中，标记的源数据和有限的目标示例可用于训练。少量样本适应在两个方面进行：(1) 初始模型在多个批次的采样源数据示例（即源任务）上分别更新；(2) 分别在少量样本目标示例（即元任务）上评估更新后的模型以计算元损失，然后使用导出的二阶导数更新初始参数。输入数据定义如下：

4 Methodology

在提供标记的源数据和k-shot目标示例的情况下，我们首先介绍我们的元适应框架，用于领域自适应的少量样本虚假信息检测。为了提高适应性能，我们引入了一个基于可学习学习率和任务相似性的二阶元学习算法MetaAdapt。MetaAdapt的插图在图2中提供。部署后，由于自适应优化和相似性引导的元适应，适应的模型取得了显著的改进。

4.1 Few-Shot Meta Adaptation

其中Sampler代表源任务采样器，它从Xs中抽取固定大小的源任务，Alg代表使用一阶梯度下降的优化算法，即：

4.2 The Proposed MetaAdapt

虽然元适应利用源任务来提高目标领域的性能，但它从所有源任务中均匀地学习，而没有考虑每个单独任务的信息量。为了进一步利用源领域知识，我们提出了一种基于任务相似性的MetaAdapt，用于领域自适应的少量样本虚假信息检测。我们首先用自适应学习率估计任务特定参数，然后使用任务相似性分数重新缩放元损失。所提出的方法有选择地从源任务中学习，从而进一步提高了适应性能。我们在算法1中介绍了MetaAdapt的训练细节。

为了计算任务相似性分数，我们利用任务和元梯度。计算梯度相似性的目标是有选择地从源任务中学习。如果任务和元梯度产生高相似性分数，参数在内层和外层循环优化中都朝着相同方向收敛。因此，源任务优化路径对提高元任务性能（即，目标领域性能）更有“帮助”。或者，相反，如果源任务对提高元任务性能的效果可能较差。基于这一原则，我们用余弦相似性计算任务相似性分数si：

在每次迭代中，我们采样n个源任务，并计算每对任务和元梯度的相似性分数。然后，相似性分数[s1, s2, …, sn]通过调整后的softmax转换为概率分布：

其中τ是经验选择的温度超参数。最终，我们用重新缩放的元梯度更新原始参数：

总之，MetaAdapt使用采样的源任务和少量样本目标示例计算任务和元梯度。然后，计算任务相似性以找到更“信息丰富”的源任务，接着对元梯度进行调整后的重新缩放。最后，更新的模型参数应该利用源领域知识，并在目标数据分布上展示改进的性能。MetaAdapt的整体框架在图2中说明。与以前的工作（Motiian等人，2017年；Tseng等人，2019年；Zhao等人，2021年；Yue等人，2022年）不同，我们摒弃了领域对抗性或特征正则化方法，相反，我们提议利用元适应来指导从源到目标领域的知识转移。此外，设计了基于相似性的梯度重新缩放，以利用不同的源任务实现细粒度的适应性能。

5 Experiments

5.1 Settings

模型：类似于（Li等人，2021年；Yue等人，2022年），我们选择RoBERTa作为MetaAdapt中编码输入示例的基础模型。RoBERTa是一种在COVID大流行之前在多种NLP任务上预训练的变换器模型（Liu等人，2019年）。

评估：为了验证所提出的方法，我们遵循（Kou等人，2022a；Li等人，2021年；Yue等人，2022年）并将数据集分为训练集、验证集和测试集。少量样本目标示例被选为验证集中的前k个示例，其余的验证示例用于验证模型。对于评估指标，我们采用**平衡准确率（BA）、准确率（Acc.）和F1分数（F1）**来评估性能。评估细节见附录A。

数据集和基线：为了检验MetaAdapt的性能，我们采用多个源和目标数据集。我们遵循（Yue等人，2022年）并采用FEVER (FE)（Thorne等人，2018年）、GettingReal (GR)（Risdal，2016年）、GossipCop (GC)（Shu等人，2020a）、LIAR (LI)（Wang，2017年）和PHEME (PH)（Buntain和Golbeck，2017年）作为源数据集。对于目标领域，我们采用CoAID（Cui和Lee，2020年）、Constraint（Patwa等人，2021年）和ANTiVax（Hayawi等人，2022年）。

我们的简单基线利用少量样本目标示例对源预训练模型进行微调。我们还采用了来自领域自适应和少量样本学习方法的最新基线，用于领域自适应少量样本虚假信息检测：CANMD、ACLR、ProtoNet和MAML（Finn等人，2017年；Snell等人，2017年；Lin等人，2022年；Yue等人，2022年）。此外，我们选择了两个大型语言模型LLaMA和Alpaca，以评估在虚假信息检测中的少量样本上下文学习（ICL）和参数高效微调（PEFT）性能（Touvron等人，2023年；Taori等人，2023年）。

实现：我们遵循（Yue等人，2022年）中的预处理流程。具体来说，我们将特殊符号（例如，表情符号）翻译回英文，对话题标签、提及和URL进行标记，并从输入中移除特殊字符。我们使用10-shot设置（即，k = 10），模型使用AdamW优化器进行训练，权重衰减为0.01，不进行预热，在内层优化中我们采样3个源任务并执行3次更新。然后，我们在用温度τ重新缩放元梯度之前计算元损失并评估任务相似性分数。我们所有的主要实验都重复了3次，我们选择在验证集上表现最好的模型进行最终评估。超参数选择（例如，内外层学习率、温度等）和实现细节在附录A中提供。

5.2 Main Results

监督结果：我们首先在表1中报告所有数据集上的监督结果。表的上半部分和下半部分分别报告了源和目标数据集的性能。我们观察到以下情况：（1）总体而言，陈述和帖子的性能比新闻文章的性能更好。可以在GossipCop（新闻）上找到示例，其BA为0.776，而PHEME（社交网络帖子）上的BA为0.863；（2）对于不成比例的标签分布（例如，CoAID），BA指标与其他指标相比急剧下降，表明在不公平分布上训练公平模型的难度。例如，在CoAID上，BA比准确率和F1低约10%；（3）RoBERTa模型在源数据集上仅达到平均BA为0.778，这表明将知识从源数据集转移到目标数据集可能是一项具有挑战性的任务。

少量样本适应结果：所有源-目标组合上的少量样本跨领域实验（10-shot）在表2中呈现。在表中，行代表源数据集，而列代表目标数据集。我们在每一行中包含了适应方法，而指标则在目标数据集下的列中报告。对于MetaAdapt，我们在表中报告了平均结果，并使用±符号提供了标准偏差值。为方便起见，最好的结果用粗体标出，第二好的结果用下划线标出。我们观察到：（1）在不同的源-目标标签分布上适应COVID领域并非易事。以GossipCop → CoAID为例，基线方法显示BA值略高于0.6（尽管准确率和F1很高），表明模型以更高的概率预测多数类；（2）通过学习领域不变特征表示，像CANMD和ACLR这样的基线方法可以比简单基线改善适应结果。例如，CANMD在Constraint和ANTiVax上的BA平均提高了42.3%和21.7%；（3）使用元适应方法，MetaAdapt在BA指标上显著优于所有基线。例如，在ANTiVax上，MetaAdapt在BA上比表现最好的基线MAML高出7.4%，准确率和F1也有类似的趋势。特别是在CoAID（有超过90%的正面标签）的情况下，BA的提高表明MetaAdapt可以学习公平特征以改善检测结果，尽管准确率和F1结果略有下降。总结来说，表2中的结果表明，MetaAdapt在适应早期虚假信息检测系统方面特别有效，使用的是有限目标示例。与基线模型相比，MetaAdapt可以在所有指标上实现显著改进，跨越源-目标数据集组合。在领域差异较大的情况下，MetaAdapt通过利用少量样本目标示例、二阶梯度动态和基于相似性的自适应学习，展现出卓越的性能。

与大型语言模型的比较：为了进一步展示MetaAdapt在领域自适应虚假信息检测中的有效性，我们将我们的MetaAdapt与最新的大型语言模型（LLMs）进行比较。具体来说，我们采用了LLaMA-7B和Alpaca-7B，并在目标数据集上进行了少量样本上下文学习（即，ICL）和参数高效微调（即，FT），结果在表3中呈现。我们注意到：（1）尽管模型参数显著增加（从约0.1B到7B），但LLMs在没有进一步调整的情况下仍然可能无法区分虚假信息。例如，LLaMA在上下文学习中通过预测多数类一致地在BA中得分为0.5。（2）微调LLMs可以显著提高虚假信息检测的性能。通过PEFT调整，Alpaca在目标数据集上仅依赖少量样本目标示例就在BA上实现了40.7%的性能提升。（3）通过提出的MetaAdapt，像RoBERTa这样的较小语言模型能够胜过经过微调的大型语言模型。平均而言，MetaAdapt在目标数据集上的BA指标上比LLaMA-PEFT和Alpaca-PEFT分别高出14.3%和14.1%。结果表明，通过结合领域外知识和元适应，MetaAdapt在早期虚假信息检测中既有效又高效。

鲁棒性研究：我们还评估了MetaAdapt对少量样本数量的敏感性。具体来说，我们选择了从0到15的数量，并使用MetaAdapt进行适应。结果在源数据集上平均，并在表4中报告。注意，对于0-shot实验，我们在源数据集上训练模型，并直接在目标数据上评估。我们观察到以下情况：（1）正如预期的那样，随着少量样本数量的增加，适应性能迅速提高。（2）令人惊讶的是，当我们将少量样本数量从0增加到1时，我们在CoAID上的准确率和F1上观察到性能下降。这表明两个领域之间的巨大差异可能会降低MetaAdapt的有效性；（3）总体而言，随着我们增加少量样本数量，改进的幅度最初迅速增长，然后缓慢趋于平稳。从1-shot到5-shot设置中可以发现最大的改进，BA结果平均提高了18.1%。总之，我们观察到即使是有限数量的目标示例也可以通过MetaAdapt提高目标领域的性能。我们在附录B中提供了额外的超参数敏感性分析。

消融研究：我们评估了MetaAdapt中提出的组件的有效性。具体来说，我们移除了基于相似性的梯度重新缩放（无任务相似性）、自适应学习率（无自适应LR）和二阶优化方法（无二阶梯度），并观察性能变化。目标数据集上的实验结果在源数据集上平均，并在表5中报告。

对于所有组件，当我们从MetaAdapt中移除时，BA上的的性能都有所下降。例如，当我们连续移除任务相似性和自适应LR时，MetaAdapt的性能在BA上分别下降了2.0%和2.3%。我们进一步将MetaAdapt替换为一阶近似，这导致BA指标上的性能下降了3.9%。总体而言，结果表明提出的组件对于领域自适应的少量样本虚假信息检测是有效的。

6 Conclusion

在本文中，我们探索了在领域自适应的少量样本虚假信息检测中的元学习。我们提出了MetaAdapt，这是一种基于元学习的方法，用于跨领域的少量样本适应。MetaAdapt是第一个利用少量样本目标示例，在有限目标示例的指导下利用源领域知识的方法。实验结果通过在多个具有挑战性的源-目标数据集组合上取得有希望的结果，证明了我们方法的有效性，MetaAdapt能够在很大程度上显著优于最新的基线和大型语言模型。

7 Limitations

尽管我们引入了元学习进行领域自适应的少量样本虚假信息检测，但我们还没有讨论使用多个源数据集进行跨领域适应的设置，以进一步提高识别早期虚假信息的性能。由于早期虚假信息数据的缺乏，我们将目标领域限定在COVID-19上，这可能会阻碍所提方法推广到其他领域的能力。此外，所提出的方法没有利用有效的近似或一阶元学习方法来降低训练MetaAdapt的计算成本。因此，我们计划将通过高效的元学习探索多源少量样本虚假信息检测作为未来的工作。