跨语言迁移学习@多模态仇恨言论事件检测2024：：多模态仇恨言论检测的有效策略及其目标

摘要

在与俄罗斯-乌克兰冲突相关的多模态仇恨言论扩散的背景下，我们引入了一个统一的多模态融合系统，用于检测文本嵌入图像中的仇恨言论及其目标。我们的方法利用基于Twitter的RoBERTa和Swin Transformer V2模型对文本和视觉模态进行编码，并采用多层感知器（MLP）融合机制进行分类。我们的系统在2024年多模态仇恨言论事件检测挑战赛中，在仇恨言论检测和仇恨言论目标检测两个子任务中分别获得了87.27%和80.05%的宏观F1分数，在两个子任务中均排名第一。我们开源训练模型https://huggingface.co/Yestin-Wang

概述

在不断发展的数字时代，社交媒体平台已经成为信息交换和社交互动的关键场所。网络参与度的激增，在促进联系和思想交流的同时，也导致了网络滥用的增加，包括仇恨言论的传播。仇恨言论，通常被定义为基于种族、肤色、民族、性别、性取向、国籍、宗教或其他特征贬低一个人或一个群体的交流(Nockleby, 2000)，已经成为一个重要的社会问题。识别仇恨言论的复杂性因在线内容的多模式特性而进一步加剧，这些内容通常以嵌入文字的图像的形式出现。这些图像结合了视觉和文字元素，是社交媒体平台上流行的表达方式(Shang et al.， 2021)。在嵌入文本的图像中检测仇恨言论的挑战来自内容的多模态性质，其中文本线索与视觉内容交织在一起。传统的单模态模型仅关注文本或图像分类，无法有效解释这些多模态场景中仇恨言论的细微差别和往往依赖于上下文的性质(Kiela et al.， 2020)。因此，迫切需要先进的多模态模型，能够有效地整合和分析文本和视觉信息，以准确识别文本嵌入图像中的仇恨言论。
鉴于这一需要，多模式仇恨言论CASE 2024的事件检测挑战 (Thapa等人，2024)提供了一个平台，用于开发和评估能够检测文本嵌入图像中仇恨言论的模型，这些图像涉及与俄乌战争相关的政治争议话题。该任务建立在该共享任务的2023年迭代基础上(Thapa等人，2023)，其中包括子任务，旨在不仅确定此类图像中仇恨言论的存在，而且确定仇恨内容的目标，无论他们是个人，组织还是社区。去年的大多数参与团队都采用了基于单峰变压器模型的监督方法(例如，BERT, XLMRoberta等)(Armenta-Segura等，2023;Singh et al.， 2023)或基于特征工程(例如，词汇特征，命名实体等)和集成学习策略的方法(Sahin et al.， 2023)。然而，这些方法通常需要复杂的特征工程和特定子任务的专门模型结构，这使得跨不同子任务进行泛化具有挑战性，例如检