【文献阅读】A Multitask Framework for Sentiment, Emotion and Sarcasm aware Cyberbullying Detection from Mu

• 一些新概念
  • meme：文化中类似于基因的信息传播单元
• 主要目标：从多模态模因中检测网络恶意行为
• 主要工作
  • 创建了一个MultiBully的多模态模因数据集，将危险性分数纳入其中来量化欺凌贴子的严重程度
  • 提出两种不同的多模态多任务框架
    • BERT+ResNET-Feedback
    • CLIP-CentralNet
  • 多任务：网络欺凌检测（cyberbullying detection (CD)）情感分析（SA）、情绪识别（ER）、讽刺检测（SAR）
• 数据集收集、标注
• 框架
  • 两个多模态特征提取框架
    • BERT-ResNet

      

      • Bert提取文本特征
        • 先使用OCR从输入图像里面提取文本信息
        • 使用mBERT从输入文本中获取文本特征
        • BERT的输出再通过Bi-GPU层来学习上下文信息
      • ResNet-50提取图像特征
      • 最后将文本特征和图像特征拼接起来
    • CLIP

      

      • 使用Vision Transformer作为图像编码器，Bert作为文本编码器
  • 两个多任务框架
    • Feedback

      

      • 为了同时学习n个任务数，多模态特征通过n个特定任务的全连接层，之后传入各自的输出层
      • “反馈”：从每个任务的最后一个全连接层到主任务Tn层有一条反馈路径，这条路径是为了检查不同特定功能如何帮助提高主任务性能
    • CentralNet

      

      • 一个神经网络架构，包括n-1个独立的网络用于特定任务的网络（ST）和一个中心网络（MT）
      • 中心网络通过考虑特定任务网络及其自己先前层的加权求和，来组合不同单个任务生成的特征

        

      • 最终MTi+1被馈送到操作层
  • 组合为四个多模态多任务框架
    • BERTResnet+FeedBack, BERT-Resnet+CentralNet, CLIP+FeedBack, CLIP+CentralNet.
  • 实验结果
    • 多模态多任务的ACC与F1分数评估结果

      

    • 单任务ACC与F1分数评估结果

      

    • 结论
      • 对于CD任务，所有多任务的效果都优于单任务。表明：情绪、情感和讽刺知识提高了网络欺凌检测任务的表现。
      • 多模态场景中，CLIP+CNT的组合效果最好
      • 具有模型间注意（IA）的centralNet多功能框架优于具有简单连接的模型（IA还没太理解总结不出来
      • CD+SA+ER在大多数情况下比其他三种任务变体表现更好，表明：一个人的实际精神状态不可能总是只根据sentiment或者只根据emotion来判断。
      • 多模态效果优于单模态，图像模态优于文本模态