融合交叉注意力的突发事件多模态中文反讽识别模型

摘要: 网民在社交媒体参与突发事件讨论时，时常会采用反讽修辞方式表达对事件的看法，此举导致情感分析的难度增加，且已有中文反讽识别对社交媒体中网民发布的多模态评论研究较少，有必要对图文多模态中文反讽识别进行深入研究。运用交叉注意力机制捕捉模态间的不一致性表达，提出融合交叉注意力的多模态中文反讽识别模型(fuse cross attention model, FCAM)。在模型中，首先运用TextCNN(text convolutional neural networks) 和ResNet(deep residual network)分别提取中文文本浅层特征和图像特征，再运用交叉注意力机制分别得到文本层和图像层的注意力特征，按照残差方式分别实现文本浅层特征和文本层注意力特征的连接、图像特征和图像层注意力特征的连接，使用注意力机制融合2个特征表示，经过分类层得到反讽分类结果。基于某一地区新冠疫情期间相关话题的微博评论数据，构建出突发公共卫生事件多模态中文反讽数据集，在该数据集上试验验证，相较于基准模型，FCAM具有一定的优越性。

• 关键词: 
• 突发事件  /  
• 社交媒体  /  
• 多模态评论  /  
• 中文反讽识别  /  
• 中文反讽数据集  /  
• 交叉注意力机制  /  
• 注意力机制  /  
• 情感分析  

公众参与网络评论时发表的观点，能够反映出网民对热点事件的态度和看法。情感分析通过挖掘网民评论的语义信息，对舆情分析具有重大意义。而反讽作为一种修辞方式，常常被网民当作隐性表达观点的工具，挑战情感分析且易干扰管理者对突发事件中网民的情感认知，引发舆情危机