读文章笔记(七):赛尔笔记 | 多模态情感分析简述


赛尔笔记 | 多模态情感分析简述
https://zhuanlan.zhihu.com/p/97170240

相关任务概览

  • 多模态情感分析任务概览在这里插入图片描述
  • 多模态情感分析相关数据集
    在这里插入图片描述

数据集和方法

面向图文的情感分类任务

Yelp数据集来自Yelp.com评论网站,收集的是波士顿,芝加哥,洛杉矶,纽约,旧金山五个城市关于餐厅和食品的Yelp上的评论。一共有44305条评论,244569张图片(每条评论的图片有多张),平均每条评论有13个句子,230个单词。数据集的情感标注是对每条评论的情感倾向打1,2,3,4,5五个分值。

Tumblr数据集是从Tumblr收集来的多模态情绪数据集。Tumblr是一种微博客户服务,用户在上面发布的多媒体内容通常包含:图片、文本和标签。数据集是根据选定的十五种情绪搜索对应的情绪标签的推文,并且只选择其中既有文本又有图片的部分,然后进行了数据处理,删除了那些文本中原本就包含对应情绪词的内容,以及那些主要不是英文为主的推文。整个数据集共有256897个多模态推文,其中情绪标注为包含高兴,悲伤,厌恶在内的十五种情绪。

结合Yelp数据集的特点,
[1]Truong T Q, Lauw H W. VistaNet:Visual Aspect Attention Network for Multimodal Sentiment Analysis[C]. nationalconference on artificial intelligence, 2019: 305-312.
提出“图片并不独立于文字表达情感,而是作为辅助部分提示文本中的显著性内容”。VistaNet用图片指导文本进行attention,用来决定文档中不同句子对于文档情感分类的重要性程度。

  • 图:VistaNet模型架构
    在这里插入图片描述
    VistaNet具有三层结构,分别是词编码层、句子编码层和分类层。
    词编码层对一个句子中的词语进行编码,再经过soft-attention得到句子的表示。
    句子编码层对上一层得到的句子表示进行编码,再通过视觉注意力机制(visual aspectattentino)得到文档表示。文档表示作为分类层的输入,输出分类结果。从结构上来看,VistaNet和Hierarchical Attention Network基本相似,都是用于文档级情感分类,都有三层结构,且前两层都是GRUEncoder+Attention的结构,二者的不同点在于VistaNet使用了视觉注意力机制。

面向图文的方面级情感分类任务

(方面级情感分类任务是对给定一个方面(Aspect),研究多模态文档在该方面的情感极性。。一个方面可能由多个词语组成,例如“Eatingenvironment”,方面本身包含的信息对于文本和图像信息的提取有重要的指导意义。)

Multi-ZOL数据集收集整理了IT信息和商业门户网站http://ZOL.com上的关于手机的评论。原始数据有12587条评论(7359条单模态评论,5288条多模态评论),覆盖114个品牌和1318种手机。其中的5288多模态评论,构成了Multi-ZOL数据集。在这个数据集中,每条多模态数据包含一个文本内容、一个图像集,以及至少一个但不超过六个评价方面。这六个方面分别是性价比、性能配置、电池寿命、外观与感觉、拍摄效果、屏幕。总共得到28469个方面。对于每个方面,都有一个从1到10的情感得分。

Twitter-15和Twitter-17是包含文本和文本对应图片的多模态数据集,数据集标注了目标实体及对其图文中表达的情感倾向。整个的数据规模是Twitter-15(3179/1122/1037)条带图片推文,Twitter-17(3562/1176/1234)条带图片推文,情感标注为三分类。

对于Multi-ZOL数据集,Xu N, Mao W, Chen G, et al.Multi-Interactive Memory Network for Aspect Based Multimodal SentimentAnalysis[C]. national conference on artificial intelligence, 2019: 371-378.提出了Multi-Interactive MemoryNetwork(MIMN),如图2所示。模型使用Aspect-guided attention机制来指导模型生成文本和图像的Attention向量。为了捕获多模态间和单模态内的交互信息,模型使用了Multi-interactive attention机制。

  • 0
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值