读文章笔记（七）：赛尔笔记 | 多模态情感分析简述

赛尔笔记 | 多模态情感分析简述
https://zhuanlan.zhihu.com/p/97170240

相关任务概览

• 多模态情感分析任务概览
• 多模态情感分析相关数据集
  

数据集和方法

面向图文的情感分类任务

Yelp数据集来自Yelp.com评论网站，收集的是波士顿，芝加哥，洛杉矶，纽约，旧金山五个城市关于餐厅和食品的Yelp上的评论。一共有44305条评论，244569张图片（每条评论的图片有多张），平均每条评论有13个句子，230个单词。数据集的情感标注是对每条评论的情感倾向打1,2,3,4,5五个分值。

Tumblr数据集是从Tumblr收集来的多模态情绪数据集。Tumblr是一种微博客户服务，用户在上面发布的多媒体内容通常包含：图片、文本和标签。数据集是根据选定的十五种情绪搜索对应的情绪标签的推文，并且只选择其中既有文本又有图片的部分，然后进行了数据处理，删除了那些文本中原本就包含对应情绪词的内容，以及那些主要不是英文为主的推文。整个数据集共有256897个多模态推文，其中情绪标注为包含高兴，悲伤，厌恶在内的十五种情绪。

结合Yelp数据集的特点，
[1]Truong T Q, Lauw H W. VistaNet:Visual Aspect Attention Network for Multimodal Sentiment Analysis[C]. nationalconference on artificial intelligence, 2019: 305-312.
提出“图片并不独立于文字表达情感，而是作为辅助部分提示文本中的显著性内容”。VistaNet用图片指导文本进行attention，用来决定文档中不同句子对于文档情感分类的重要性程度。

• 图：VistaNet模型架构
  
  VistaNet具有三层结构，分别是词编码层、句子编码层和分类层。
  词编码层对一个句子中的词语进行编码，再经过soft-attention得到句子的表示。
  句子编码层对上一层得到的句子表示进行编码，再通过视觉注意力机制（visual aspectattentino）得到文档表示。文档表示作为分类层的输入，输出分类结果。从结构上来看，VistaNet和Hierarchical Attention Network基本相似，都是用于文档级情感分类，都有三层结构，且前两层都是GRUEncoder+Attention的结构，二者的不同点在于VistaNet使用了视觉注意力机制。

面向图文的方面级情感分类任务

（方面级情感分类任务是对给定一个方面（Aspect），研究多模态文档在该方面的情感极性。。一个方面可能由多个词语组成，例如“Eatingenvironment”，方面本身包含的信息对于文本和图像信息的提取有重要的指导意义。）

Multi-ZOL数据集收集整理了IT信息和商业门户网站http://ZOL.com上的关于手机的评论。原始数据有12587条评论(7359条单模态评论，5288条多模态评论)，覆盖114个品牌和1318种手机。其中的5288多模态评论，构成了Multi-ZOL数据集。在这个数据集中，每条多模态数据包含一个文本内容、一个图像集，以及至少一个但不超过六个评价方面。这六个方面分别是性价比、性能配置、电池寿命、外观与感觉、拍摄效果、屏幕。总共得到28469个方面。对于每个方面，都有一个从1到10的情感得分。

Twitter-15和Twitter-17是包含文本和文本对应图片的多模态数据集，数据集标注了目标实体及对其图文中表达的情感倾向。整个的数据规模是Twitter-15(3179/1122/1037)条带图片推文，Twitter-17（3562/1176/1234）条带图片推文，情感标注为三分类。

对于Multi-ZOL数据集，Xu N, Mao W, Chen G, et al.Multi-Interactive Memory Network for Aspect Based Multimodal SentimentAnalysis[C]. national conference on artificial intelligence, 2019: 371-378.提出了Multi-Interactive MemoryNetwork（MIMN），如图2所示。模型使用Aspect-guided attention机制来指导模型生成文本和图像的Attention向量。为了捕获多模态间和单模态内的交互信息，模型使用了Multi-interactive attention机制。