跨语言迁移学习@多模态仇恨言论事件检测2024：：多模态仇恨言论检测的有效策略及其目标

摘要

在与俄罗斯-乌克兰冲突相关的多模态仇恨言论扩散的背景下，我们引入了一个统一的多模态融合系统，用于检测文本嵌入图像中的仇恨言论及其目标。我们的方法利用基于Twitter的RoBERTa和Swin Transformer V2模型对文本和视觉模态进行编码，并采用多层感知器（MLP）融合机制进行分类。我们的系统在2024年多模态仇恨言论事件检测挑战赛中，在仇恨言论检测和仇恨言论目标检测两个子任务中分别获得了87.27%和80.05%的宏观F1分数，在两个子任务中均排名第一。我们开源训练模型https://huggingface.co/Yestin-Wang

概述

在不断发展的数字时代，社交媒体平台已经成为信息交换和社交互动的关键场所。网络参与度的激增，在促进联系和思想交流的同时，也导致了网络滥用的增加，包括仇恨言论的传播。仇恨言论，通常被定义为基于种族、肤色、民族、性别、性取向、国籍、宗教或其他特征贬低一个人或一个群体的交流(Nockleby, 2000)，已经成为一个重要的社会问题。识别仇恨言论的复杂性因在线内容的多模式特性而进一步加剧，这些内容通常以嵌入文字的图像的形式出现。这些图像结合了视觉和文字元素，是社交媒体平台上流行的表达方式(Shang et al.， 2021)。在嵌入文本的图像中检测仇恨言论的挑战来自内容的多模态性质，其中文本线索与视觉内容交织在一起。传统的单模态模型仅关注文本或图像分类，无法有效解释这些多模态场景中仇恨言论的细微差别和往往依赖于上下文的性质(Kiela et al.， 2020)。因此，迫切需要先进的多模态模型，能够有效地整合和分析文本和视觉信息，以准确识别文本嵌入图像中的仇恨言论。
鉴于这一需要，多模式仇恨言论CASE 2024的事件检测挑战 (Thapa等人，2024)提供了一个平台，用于开发和评估能够检测文本嵌入图像中仇恨言论的模型，这些图像涉及与俄乌战争相关的政治争议话题。该任务建立在该共享任务的2023年迭代基础上(Thapa等人，2023)，其中包括子任务，旨在不仅确定此类图像中仇恨言论的存在，而且确定仇恨内容的目标，无论他们是个人，组织还是社区。去年的大多数参与团队都采用了基于单峰变压器模型的监督方法(例如，BERT, XLMRoberta等)(Armenta-Segura等，2023;Singh et al.， 2023)或基于特征工程(例如，词汇特征，命名实体等)和集成学习策略的方法(Sahin et al.， 2023)。然而，这些方法通常需要复杂的特征工程和特定子任务的专门模型结构，这使得跨不同子任务进行泛化具有挑战性，例如检测仇恨言论及其目标(Thapa et al.， 2023)。
我们为仇恨言论和目标检测任务引入了统一的多模态架构。我们的方法采用基于twitter的RoBERTa(Loureiro等人，2023)和Swin Transformer V2模型(Liu等人，2022)来提取用于编码文本和视觉内容的特征，并通过多层感知器(MLP)融合技术将它们连接。在不需要特征工程的情况下，我们的系统在两个子任务中都取得了第一名的成绩，在子任务A和3.71%的F1得分上都超过了前一年的第一子任务B得分分别为F1。

相关工作

在自然语言处理和计算机视觉的交叉领域，多模态内容，特别是文本嵌入图像中的仇恨言论检测越来越受到学术界的关注。这一趋势是由创新的多模态方法的发展和广泛数据集的创建所驱动的(Bhandari等人;2023;Fersini et al.， 2022;Pramanick et al.， 2021;Suryawanshi et al.， 2020)。一个关键的进步是NeurIPS 2020上的仇恨表情包挑战赛(Kiela et al.， 2020)，它提供了一个包含10,000个模因示例的开源数据集，为开发最先进的方法营造了一个竞争环境。成功的方法是Zhu(2020)结合VL-BERT (Su et al.， 2020);UNITER (Chen et al.， 2020)， VILLA (Gan et al.)，2020)和ERNIE-ViL (Yu et .， 2021)通过集成学习，展示了多模态仇恨言论检测的增强能力。多模态仇恨语音检测的研究主要集中在多模态融合方法上，这对于处理文本嵌入图像的双模态至关重要。这些方法通常分为早期融合，在初始阶段使用具有跨模态注意的深度融合编码器将文本和视觉特征结合在一起(Atrey等人，2010)，以及后期融合，在决定性对齐阶段合并图像和文本模式之前分别对其进行处理(Li等人，2022)。近年来，研究人员采用新的特征提取技术来提高分类效率。例如，周等人（2021）提出了一种基于图像描述的特征提取方法，从多模态表情包中生成描述性文本。Blaier等人(2021)表明，在模型微调期间加入字幕特征可以提高各种多模态模型用于仇恨模因检测的性能。多模态仇恨言论检测的范围正在不断扩大，以涵盖广泛的仇恨言论触发事件，如总统选举(Suryawanshi等人，2020)、COVID-19大流行(Pramanick等人，2021)和地缘政治冲突，如俄乌战争(Thapa等人，2022)。在这些特定背景下标记和检测有害文本嵌入图像的举措有助于更深入地了解多模态仇恨言论如何在各种重大事件中表现出来。

数据集和任务描述

1. 数据集描述
   共享任务使用的数据集是CrisisHateMM (Bhandari et al.， 2023)。它包含4723张嵌入文字的图片，反映了与俄乌冲突相关的各种社交媒体话语。该数据集是从流行的社交媒体平台，如Twitter，Reddit和Facebook。数据集中的每个项目都包含一个原始图像文件及其提取的文本内容，通过使用Google Vision API2的OCR技术获得。
   
   对于这两个子任务，数据集被分为训练集、评估集和测试集。表1提供了每个集合中的实例数量。值得注意的是，测试集标签在挑战阶段保持未公开，以确保公正的性能评估。

2. 子任务A:仇恨语音检测
   子任务A侧重于识别给定的文本嵌入图像是否包含仇恨言论，对应于二分类问题。数据集中有2,428个文本嵌入图像被标记为包含仇恨言论，2,058个非仇恨言论示例，其中分为3,600个训练实例，443个评估实例和443个测试实例。这种划分确保了在评估集和测试集中每个类有相同数量的实例。

3. 子任务B:目标检测
   子任务B旨在识别2,428个嵌入文本的仇恨图像中仇恨言论的目标。该子任务中的每个文本嵌入图像都针对特定的群体或实体进行了注释:“社区”、“个人”或“组织”，这被视为一个多类、单标签的分类问题。

方法

我们的方法是基于一个多模式架构，它集成了大规模的预训练模型，基于twitter的RoBERTa (Loureiro et al.， 2023)和Swin Transformer V2 (Liu et al.， 2022)，分别从文本和视觉输入中提取语境化嵌入。然后使用多层感知器将这些嵌入连接起来(MLP)融合模块(Shi et al.， 2021)，用于将每个实例分类到预定义的类别之一。我们的模型普遍适用于子任务A和B，只是在输出层有所不同，如图1所示。

4. 文本预处理
   所提供的数据集包含通过Google从嵌入文本的图像中提取的文本数据OCR视觉API。我们应用了简单的预处理步骤，包括使用正则表达式删除url、用户名提及(即@username)和表情符号，然后将文本截断长度设置为512个令牌。这些预处理步骤通常在处理社交媒体数据时应用(Gupta和Joshi, 2017)。

5. 神经网络模型
   （1）基于Twitter的RoBERTa
   基于twitter的RoBERTa模型(Loureiro等);2023)是一个RoBERTa-large模型(Liu et al.， 2019)，该模型是在涵盖2018-01至2022-12年期间的154M推文的大型语料库上训练的，可能也涵盖了与俄罗斯-乌克兰冲突相关的推文。考虑到tweets的属性在某种程度上类似于我们数据中嵌入图像中的文本的属性:两者都是短文本，包含社交媒体特有的非正式语言、缩写和俚语，因此一个特定于领域的大语言模型有望更适合于编码文本输入。基于twitter的RoBERTa模型可以通过hug Face Transformer api公开获得。
   （2） Swin Transformer V2
   Swin Transformer V2 (Liu et al.， 2022)是Swin Transformer (Liu et al.， 2022)的改进版本。2021)，该方法采用基于窗口的注意力机制，通过将图像划分为不重叠的小块，并在每个阶段依次处理这些小块，从而在各种尺度和分辨率下进行有效的图像处理。这种方法可以缓解传统变换器架构在进行大规模图像处理时所面临的计算和内存负担问题，这些架构在整个图像上应用全局自注意力机制。在我们的实验中，我们使用Swin Transformer V2模型的TIMM框架实现。该模型在ImageNet-1k数据集上进行预训练，该数据集包含120万张带有1000个对象类别的标记图像(Russakovsky et al.， 2015)。

6. MLP融合与预测
   我们的融合策略需要将通过多层感知器(MLP)融合模块进行文本和图像嵌入(Shi et al.， 2021);从不同模型的顶部向量表示池(连接)成一个单一的向量。在最后添加一个预测层来执行分类:对于子任务A, sigmoid输出单个值来产生仇恨言论存在的概率。对于子任务B，每个目标类别(个人、社区和组织)都有一个单独的sigmoid函数，输出相应的概率。

实验及评价结果

1. 实验设置
   我们的多模态分类系统是使用PyTorch框架和AutoGluon库(Shi et al.， 2021)开发的，具有健壮和灵活的实现。我们对twitter进行了微调在训练数据上建立RoBERTa和Swin Transformer V2模型，并使用以下超参数:基本学习率为1e-4，使用余弦衰减调度的衰减率为0.9，批量大小为8，手动种子为0以实现可重复性。使用AdamW优化器对模型进行了多达10次的优化，或者直到满足早期停止标准以防止过拟合。对模型进行微调后，在评价集上进行评价。所有实验均在Google协作平台上使用NVIDIA A100 GPU进行，子任务a耗时约25分钟，子任务B耗时约20分钟。

2. 结果与讨论
   由于测试集不平衡，官方评价指标是宏观平均F1分数。表2和3展示了CLTL团队的系统在解决多模态仇恨语音检测(子任务A)和目标检测(子任务B)的挑战性任务时的比较性能，反映了我们的系统与基线方法(Bhandari等人，2023)和其他排名最高的参与系统(Thapa等人，2023,2024)相比的优越性能。
   在子任务A中，我们的系统获得了87.27%的F1分数，在排行榜上排名第一。这一表现比前一年的获奖作品(Sahin et al.， 2023)有了实质性的改进，F1得分提高了1.62%。值得注意的是，我们的系统在测试结果中的所有分类指标上都表现出色，并且在F1得分方面比CLIP模型基线方法高出8.67%，突出了我们的方法在多模态仇恨言论检测方面的鲁棒性（稳定性）。
   在子任务B中，我们的系统再次领跑，F1得分为80.05%。这比基线方法的F1得分显著提高了18.55%，这验证了我们的系统在识别多模态仇恨言论的特定目标方面的有效性。
   我们的系统在两个子任务上的成功可以潜在地归因于几个因素。对大量文本和视觉内容进行广泛的预训练是有用的，部分原因是基于twitter的RoBERTa对社交媒体话语的领域特定知识，以及Swin Transformer V2对视觉理解的熟练程度。随后的微调CrisisHateMM训练集进一步增强了系统对多模态仇恨内容的分类能力。此外，通过MLP融合模块的文本和图像模式的连接已被证明可以有效地捕获多模态仇恨言论及其目标中固有的文本和视觉线索之间的复杂相互作用。
   
   

结论

在这项工作中，我们介绍了CLTL团队为多模态仇恨言论事件检测挑战设计的多模态架构2024。利用基于twitter的RoBERTa和Swin Transformer V2进行特征提取，并采用MLP融合机制，我们的系统以最高的宏观达到了最高的排名两个子任务都得F1分，它在CrisisHateMM数据集上检测仇恨言论及其目标方面开创了新的技术水平。在未来的工作中，我们的目标是通过实验先进的微调策略(如参数高效微调(PEFT))来改进我们的方法，使用更大的多模态数据集来提高我们的方法在不同社交媒体领域的泛化能力。