论文笔记：Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake News Detection

Dual-Teacher De-biasing Distillation Framework for Multi-domain Fake News Detection

文章下载地址：https://ieeexplore.ieee.org/abstract/document/10598140

摘要

多领域假新闻检测旨在识别来自不同领域的各种新闻是真实还是虚假，这一问题变得紧迫且重要。然而，现有方法专注于提高假新闻检测的整体性能，忽视了不平衡数据导致不同领域处理不公的事实，即领域偏差问题。为了解决这一问题，我们提出了双教师去偏蒸馏框架（DTDBD），以减轻不同领域的偏差。遵循知识蒸馏方法，DTDBD采用教师-学生结构，其中预训练的大规模教师指导学生模型。具体而言，DTDBD由一个无偏教师和一个干净教师组成，共同引导学生模型减轻领域偏差并保持性能。对于无偏教师，我们引入了一个对抗去偏蒸馏损失，指导学生模型学习无偏领域知识。对于干净的教师，我们设计了领域知识蒸馏损失，这有效地激励学生模型专注于表示领域特征，同时保持性能。此外，我们提出了一种基于动量的动态调整算法，以平衡两位教师的影响。在中文和英文数据集上的广泛实验表明，所提出的方法在偏差指标方面显著优于最先进的基线方法，同时保证了竞争力的性能。

介绍

不同领域的新闻数量因实时事件、社会趋势、公众信息需求等因素而大相径庭。现有数据集也存在以下局限性（以微博21为例）：

1)各领域假新闻的数量不平衡（例如，社交新闻占假新闻总数的29.2%，而科学新闻仅占2.6%)；

2)各领域假新闻的比例实际上不均衡（例如，金融新闻中只有27.4%是假新闻，娱乐新闻中这一比例为30.5%，而在灾难新闻和政治新闻中，这一比例分别高达76.1%和64.0%）；

3)在不平衡数据集上训练的模型可能在预测不同领域的新闻时产生偏差。

此外，不平衡的数据集可能导致模型学习到新闻标签和领域标签之间的虚假相关性**（即体育新闻领域假新闻占比较高导致模型在判断体育领域时更倾向于判别为假），这可能会影响泛化能力并导致严重的领域偏差问题，因此在监督环境下解决多领域假新闻检测中暴露的领域偏差问题需要更多的关注。现有的单域假新闻检测方法致力于提高检测性能，同时忽略新闻的领域特征。这使得它们在学习或甚至放大基于不平衡数据集的领域偏差方面变得脆弱。相反，大多数多域假新闻检测努力结合了领域知识来指导更全面特征的表示。（即单域假新闻检测更加侧重于最终的新闻检测效果而忽略了域新闻的特征或者说利用这种特征偏见，多域的假新闻检测则是侧重于消除域的特征结果就是导致新闻的检测效果下降）**因此，在多领域假新闻检测任务中，去偏效果与预测性能之间的权衡是一个亟待解决的问题。

在这方面，我们提出了双教师去偏蒸馏框架（DTDBD），该框架减轻了现实世界数据集中领域和类别分布不均导致的领域偏差。遵循知识蒸馏方法，DTDBD采用教师-学生结构，其中预训练的大规模教师指导学生模型。具体而言，DTDBD由一个无偏教师和一个干净教师组成，共同引导学生模型。对于无偏教师，受特征蒸馏的启发，我们设计了一种新的优化目标，称为对抗去偏蒸馏，将无偏分布作为知识传递。通过将无偏分布视为软标签，我们防止学生模型完全依赖于无偏教师模型来学习无偏分布的复杂性。对于干净的教师模型，我们引入了一个领域知识蒸馏损失，以鼓励学生模型灵活地关注与每个领域相关的多个相关领域。此外，我们提出了一个基于动量的动态调整算法，动态调整无偏教师和干净教师的权重。

总之，贡献可以概括如下：

•我们提出了一种新颖的双教师去偏蒸馏框架（DTDBD），以减轻多领域假新闻检测中的领域偏差。该框架由一个无偏教师和一个具有不同专长的清洁教师组成，共同指导学生模型。

•为了减少学生模型的领域偏差，我们设计了一种对抗性的去偏蒸馏方法，针对无偏教师。此蒸馏方法捕捉中间层样本的相关性，并将其作为去偏蒸馏的知识。

•考虑到两位教师影响之间的权衡，我们引入了一种基于动量的动态调整算法，该算法由学生模型性能和偏差指标的变化决定。

•大量实验结果证明了我们的方法在同时提高模型性能和减轻领域偏差方面的有效性。此外，我们的方法在中国数据集上达到了最先进的性能，突显了其在多领域假新闻检测中的优越性。

相关工作

现有方法的不足体现在：1）领域偏差：模型在数据不平衡的领域（如政治、灾难新闻）中表现不稳定。2）性能与公平性的矛盾：单纯去偏可能降低检测准确率，而仅优化性能会加剧偏差。

多领域假新闻检测

传统虚假新闻检测方法主要关注单一领域，分为基于内容（文本、图像、风格、情感）和基于社交上下文（用户资料、传播网络、群体反馈）的方法。随着多领域虚假新闻的出现，研究者提出了多种改进方法：

• EANN（事件对抗神经网络）：学习事件不变特征，提升跨事件检测能力。
• EDDFN