基于多模态大语言模型的攻击性模因解释生成方法

摘要

       随着5G的发展，攻击性言论逐渐以多模态的方式在社交网络上广泛传播. 因此，攻击性模因的检测与解释生成对于提高内容审核效果、维护和谐健康的舆论场环境有着重要的作用. 现有的攻击性模因解释生成研究只关注于攻击对象和攻击内容，忽略了模因包含的社会背景知识和隐喻表达手法，无法全面、准确地解释攻击性模因的含义，大大限制了解释的应用范围.  

       为了应对这一挑战，本文提出一种基于多模态大模型的攻击性模因解释生成方法，通过增强攻击目标、攻击内容和隐喻识别等多种指令数据，利用其微调多模态大模型，以提升大模型对攻击性模因的解释生成能力. 实验结果证实，该方法生成的解释具有3点优势：一是相比基线模型在BERTScore评估指标上提高了19%；二是解释中包含了攻击性隐喻表达的相关背景知识；三是在处理未见的模因数据时也表现出良好的泛化性能.  

主要贡献

       1.基于GPT-3.5构建了一组模因解释生成指令数据集，该数据集包含3个攻击性模因数据集和3个隐喻模因数据集，为攻击性模因解释生成研究提供了评测数据集和评测基准.

       2.提出了一种针对攻击性模因解释生成任务的多模态大语言模型训练方法，该方法不仅学习到模因固有的隐喻表达方式，也对齐跨模态的视觉和文本攻击性特征，从而生成一个全面准确的攻击性模因解释.

       3.在HatReD数据集上进行实验，实验结果表明本文方法在BERT-Score-F评测指标上较已有方法有19%的提升，并具备较强的隐喻表达识别能力与背景知识关联能力. 另外，本文模型在处理新的模因数据时同样表现出良好的泛化能力.

  已有研究生成的解释主要聚焦于攻击目标和攻击内容，而忽略了对攻击性模因隐喻表达方式和社会背景