（十九）：Fusion-Extraction Network for Multimodal Sentiment Analysis

• 出处：PAKDD (2) 2020: 785-797
• 主要内容：提出了FENet（细粒度注意力机制；门结构机制），并与很多baseline methods（SentiBank & SentiStrength、CNN-Multi 、DNN-LR等）以及消融实验进行比较。

摘要

多模态数据给情感分析带来了新的挑战，有效地结合多种信息是一项艰巨的任务。以往的作品并没有有效地利用文本与图像之间的关系和影响。我们提出了一种多模态情感分析的融合抽取网络模型。首先，我们的模型使用交互式信息融合机制交互学习特定于文本的文本表示和特定于文本的视觉表示。然后，我们提出了一种信息抽取机制来抽取有效信息并过滤冗余部分，以获得特定的文本和视觉表示。在两个公共多模态情感数据集上的实验结果表明，我们的模型优于现有的最新方法。

1 Introduction

随着社交媒体的普及，像Twitter和Instagram这样的社交平台已经成为我们日常生活的一部分，在人们的交流中扮演着重要的角色。随着社交网络的多模态化，社交平台中结合图像和文本的多模态数据越来越多。多模态数据虽然为人们的交流提供了极大的便利，但也给社交媒