论文阅读 - Hoaxes and Hidden agendas:A Twitter Conspiracy Theory Dataset - CCF A（WWW）

目录

摘要

1 绪论

2 相关工作

3 数据集构建

3.1 数据管理

 3.2 数据标注流程

 4 实验

5 结果

6 讨论

7 结论

---

论文链接：Hoaxes and Hidden agendas: A Twitter Conspiracy Theory Dataset | EndNote Click

摘要

        恶作剧和隐藏的议程导致了令人信服的阴谋论。虽然这些理论中的许多最终是无害的，但有些理论有可能造成真正的伤害，煽动现实世界的支持者反对这些理论。社交媒体进一步推动了这一点，它为阴谋论以前所未有的速度传播提供了一个平台。因此，需要开发自动化模型来检测社交媒体空间中的阴谋论，以便快速有效地识别当季主题和主流立场。

        为了支持这一发展，我们通过人工注释创建ground truth数据。

        构建数据集介绍：在这项工作中，从 Twitter 收集并手动注释一个数据集，其中包含四个阴谋论。每个 Tweetis 都标注了四个主题之一{气候变化、COVID-19 起源、COVID-19 疫苗、Epstein-Maxwell 试验}，以及它对阴谋论的立场{支持、中立、反对}。我们对这个多主题数据集进行了实验，以展示其在阴谋检测、立场检测和主题检测中的用法。

1 绪论

        阴谋论是未经证实的叙述，旨在用恶意的强大行为者的秘密阴谋来解释重大的社会或政治事件[7,8]。相信阴谋论的人通常会声称这样的事件是一个骗局，或者是作为一个更广泛的隐藏议程的一部分的全球性的重大威胁。

        虽然这些理论的很大一部分被视为故事，但其中一些已经引发了现实世界的后果。一个著名的例子是在 2016 年美国总统大选期间传播开来的 Pizzagate 阴谋论，声称披萨店地下室有一个儿童色情圈。这导致了对比萨店老板和员工的骚扰，以及试图“拯救孩子”的个人在餐厅开枪 [4,15]。社交媒体为阴谋论的混乱提供了平台，让阴谋论成为数字野火蓬勃发展和传播的平台 [ 7]. 此外，这些理论为邪恶的行为者提供了影响或操纵脆弱社区的途径，从而可能对社会和政治进程产生重大影响 [5, 7]。

        因此，识别阴谋论以帮助政府实体、记者和社交媒体公司减少这些说法的传播至关重要。另一个重要的研究领域是开发模型，将社交媒体文本的立场分类为对任何阴谋论的支持、反对或中立，以进一步探索在线参与阴谋论的用户的动态。

        在这项研究中，我们收集和分析了围绕四种阴谋论的 Twitter 数据。这项工作位于自然语言处理、立场检测和减少社交媒体的错误/虚假信息的相交点。我们的贡献如下：

        (1) 我们收集、手动注释并公开共享一个包含 3100 条推文的阴谋论数据集。该数据集包含多个领域的阴谋论，从气候变化到公共卫生再到围绕刑事审判的讨论。（GitHub - samanthph/twitter-consp-theory-data）

        (2)我们微调文本分类模型以检测推文(1)是否包含阴谋； (2) 推文的立场； (3) 推文的主题。

2 相关工作

        已经有大量工作探索阴谋论的自动文本分析。 COVID-19 大流行为阴谋论的蓬勃发展提供了成熟的温床，导致了一系列 COVID-19 阴谋论研究 [14,27]。

        已经收集了 COVID-19 推文的语料库，之前的工作使用随机森林 [10]、支持向量机方法 [23] 和神经网络模型进行了阴谋检测分类。

        另一项研究使用词嵌入来识别与相信此类理论的认知、存在和社会动机相关的阴谋论推文的语义属性 [2]。

        阴谋论分析的一个常见部分是立场检测，即对阴谋论的支持或反对的识别。先前的工作为气候变化 [26] 和疫苗 [13] 的阴谋论建立了立场检测模型。最近的一项研究对 10,000 条与 5G 和 COVID-19 阴谋论相关的推文进行了注释，并带有表示支持或其他标签的标签 [24]。更广泛地说，一些研究使用立场检测来检测支持者对错误信息的反对意见，以进行事实核查 [3, 9] .

        阴谋论可以采取多种形式的错误信息，可能是恶意传播以缝制话语或旨在告知或保护他人。在这个社交媒体环境中，Alamet al. [1] 发起了“武装号召”，鼓励研究社区发布他们的数据，以帮助打击在线错误/虚假信息，并帮助揭穿这些提议的恶作剧和隐藏的议程。我们希望通过构建一个包含多个主题的公开可用数据集并用对某个主题的立场进行注释，为建立有效的阴谋检测和立场检测模型做出贡献。

3 数据集构建

3.1 数据管理

        我们使用 Twitter V1 API 收集了四个主题的数据。我们只收集了公共推文，在数据收集和实验中没有使用任何个人身份信息。为了构建一个通用的阴谋论数据集，我们收集了混合主题的数据，每个主题都包含自己的恶作剧和隐藏议程作为阴谋论。表 1 包含该数据集中四个主题的相关阴谋论的收集参数和示例。

 3.2 数据标注流程

        三位第一语言是英语的计算机科学研究生进行了数据注释。两个注释者独立工作，第三个在最初的两个标签之间出现分歧时打破联系。注释是在两遍中完成的。注释者首先对非英语（299 个实例）或文本不足（17 个实例）的推文执行初始过滤。然后从数据集中删除这些推文，留下 3100 条推文。

        第二个注释过程涉及标记每条推文是否包含阴谋论。对于包含阴谋论的推文，注释者标注其立场，即推文是否支持、反对或中立阴谋论。该注释过程产生了 0.478 的 Cohen’s Kappa，这是两个独立注释者之间的适度的注释者间协议 [18]。数据集中的每条推文都标注了三个值：是否包含阴谋论、对阴谋论的立场和阴谋论的主题。推文的主题是从数据收集阶段获得的。数据集中的每个实例都包含推文 ID 和三个对应的标签。我们在表2中给出了标注方案和数据集中每个标签的百分比。

 4 实验

        我们通过三个实验分析数据集，每个实验都在注释的不同方面构建语言模型，以演示如何使用该数据集。图 1 说明了实验设置。具体来说，我们进行以下三个实验

         阴谋检测：给定一条推文，分类它是否包含阴谋论；

        立场检测：给定一条包含阴谋论的推文，将其对阴谋论的立场分类，即{支持、中立、反对}

        主题检测：给定一条包含阴谋论的推文，对它处理的四个阴谋论主题中的哪一个进行分类；

        对于每个实验，我们构建了五个分类器： 多数分类器作为基线分类器，将多数类分配为所有实例的类值；和四个神经网络分类器，BERT [6]、ALBERT [17]、RoBERTa [19] 和 DistilBERT [25]。四个神经网络分类器使用transformer架构，并使用simple-transformers Python 库（https://github.com/ThilinaRajapakse/simpletransformers） 实现。在分类之前，推文中的单词使用模型的默认分词器进行分词。

        这些分词器使用上下文的单词嵌入，这意味着他们创建向量，表示推文中与周围单词相关的单词。分类器在库的默认分类器设置下进行训练:学习率为4e-5, Adam参数为1e-8，批处理大小为8。每个类标签的比例被作为一个参数来分配损失计算的权重，因此每个类的实例不相等。我们在早期停止条件下进行了10次训练，我们观察到损失值通常在2次后收敛。每个分类器都使用80:20训练:测试分割进行五次交叉验证，并报告平均性能指标。我们使用宏观f1性能指标来调整数据集[12]中类标签比例的不平衡

5 结果

        我们在表3、5和7中给出了我们三个实验的结果。对于每个实验的最佳分类器，我们在表4、6和8中按类给出了性能指标。最佳分类由最高macro-F1得分决定。

         在所有三个实验中，神经网络分类器的表现都优于基线多数分类器，这突出说明了在帮助分类模型区分标签时，需要上下文化推文嵌入。在区分阴谋论和非阴谋论推文方面，表现最好的分类器是RoBERTa（macro-F1=0.813）。Roberta在阴谋论上表现最好(宏观f1 =0.908)。将推文的立场与阴谋论区分开来的最佳分类器是BERT(macro - f1 =0.722)。这个BERT分类器立场检测在类Support(macro-F1=0.822)上表现最好。在区分阴谋论主题方面，Roberta表现最好(macro-f1 =0.944)，在epstein - maxwell类标签上表现最好(macro-f1 =0.997)

6 讨论

        数据集注释实现了注释者之间的适度一致。阴谋论的一个内在属性是它们发展的速度之快，经常相互矛盾。例如，有理论同时声称戴安娜王妃伪造了自己的死亡，是被谋杀的。尽管对每个注释者进行了当前阴谋论的培训，但仍有解释的空间。其他涉及仇恨言论或人身攻击检测的注释研究也有适度或公平的注释者之间的一致性[16,29。虽然使用多个注释器有助于缓解这个问题，但主观标签自然会导致不同背景和经验的注释器之间的分歧。

        在立场检测和话题检测模型中使用的数据子集只包含有阴谋论的推文，因此比阴谋检测模型少764个数据点。然而，主题检测模型的性能最好，而立场检测模型的结果最差。由于类标签的不平衡(参见表2的统计信息)，立场检测模型可能会在性能方面遇到困难。相反，由于每个主题的推文文本的独特性和大规模语言模型记忆关键语言特征的能力，主题检测模型表现良好。对于阴谋检测任务，类标签也有一个显著的平衡。在我们数据集中的3100个案例中，75.3%包含阴谋论，24.7%没有。我们注意到，被认定为包含阴谋论的推文之间的差异是由于所使用的集合术语，并不能反映推特上的真实比例。神经网络分类器通过定义的类权重来解释类的不平衡，为少数类设置较高的类权重，为多数类设置较低的类权重。

        考虑到神经网络分类器在所有三个实验中的性能为macro-f1 =0.753±0.190，我们推断不需要一个巨大的带注释的数据集来识别阴谋论、立场或主题。这种观察可能是由于阴谋论之间的共同文本结构;在后续模型的开发中，跟上不断变化的信息环境是令人欣慰的。

        此外，在阴谋探测任务中，DistilBERT在macro f1仅下降0.009的情况下运行所需时间是RobERTa的三分之一。对于立场检测任务，DistilBERT的运行时间大约是BERT的一半，宏观f1值下降了0.083。最后，在主题检测任务中，DistilBERT所花费的时间是RoBERTa的三分之一，宏观f1下降为0.071。这些结果表明，更复杂的文本分析模型如BERT和RoBERTa所需要的额外参数和时间对于这个数据集可能是不必要的，这取决于所需的性能。

        我们认为，具有极端观点的用户通常在社交媒体上更为集中，这表明在推断发现时要谨慎。此外，对社交媒体互动的同质研究已经得到了充分的研究。人们可能会怀疑，有证据表明，人们倾向于在信仰或其他属性上与他们相似的其他用户互动 [30]。不相信阴谋论的用户不得寻求或与传播阴谋论的用户互动。数据集中阴谋支持者和否认者的比率大致4:1。在这个推文中，用户在推广这些理论时比关闭它们更直言不讳。未来的研究路径是使用这些模型来检测更大范围内对阴谋理论的立场，这可以使研究人员得出结论，如果阴谋理论的支持者或否认者在网上更多地讨论它们。

        虽然我们的分类器获得了可接受的性能，但在目前的信息环境中，阴谋论的发展速度很快，而且往往会相互矛盾。

        这项工作收集的阴谋清单并非详尽无遗。因此，在对模型进行概括时，我们应该谨慎行事，并且应该使用新数据和多语言数据连续更新模型。未来的工作要求更完善的语言模型，并研究阴谋论的动态和演变。

7 结论

        我们提供了一个新的人工标记的阴谋论推特数据集，连接到四个事件，{气候变化、COVID-19起源、COVID-19疫苗、爱泼斯坦-麦克斯韦}，对阴谋论的存在、阴谋论的立场和主题进行了注释。我们还演示了使用我们的数据集和跨越三个任务的五个标准分类器:阴谋检测、立场检测和话题检测。最佳模型性能在宏观f1 =0.722到宏观f1 =0.944之间。这项研究表明，在推特中识别和分类阴谋论是可能的，甚至跨越了从气候变化到公共卫生阴谋论的各个领域。我们希望在阴谋论广泛传播之前，为其识别工具的开发做出贡献，使有效的公共信息传递和减轻影响成为可能。