A Co-Memory Network for Multimodal Sentiment Analysis

最新推荐文章于 2024-03-19 21:32:21 发布
最新推荐文章于 2024-03-19 21:32:21 发布
阅读量858 收藏
点赞数 1
分类专栏： 多模态情感分类文章阅读 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43775680/article/details/127707408
版权

       Xu N, Mao W, Chen G. A co-memory network for multimodal sentiment analysis[C]//The 41st international ACM SIGIR conference on research & development in information retrieval. 2018: 929-932.(CCF A类)

目录

一、本文贡献

二、模型架构如下图所示：

1.特征提取部分

（1）图像特征提取

（2）文本特征提取

2.co-memory network

（1）Text-guided Visual Memory Network（TgVMN）

（2）Image-guided Textual Memory Network（IgTMN）

（3）Stacked Co-memory Network

3.Sentiment Classification

三、注意力可视化

一、本文贡献

  1. 提出一个新的co-memory network，该网络是第一次在多模态情感分析中对视觉信息和文本信息相互影响进行建模的模型。
  2. 设计一个co-memory注意力机制来捕获视觉内容和文本单词的交互，迭代式的进行如下过程：文本信息查找视觉关键内容，输入图像信息查找文本关键词。
  3. 实验结果证实了co-memory network的性能超越了当时的SOTA。

二、模型架构如下图所示：

1.特征提取部分

（1）图像特征提取

使用预训练的CNN提取图像的视觉特征向量，本文将获得的特征向量称之为visual memory pieces，得到L个feature map，每一个是N*N的张量，将每一个特征图flatten，得到如下的向量矩阵M。

将M和visual query vector作为visual memory network的输入。将M中的每个mi送入单层感知机得到图像的隐藏表示hi。

使用hi和q-img之间的相似度来衡量对特征图感兴趣的程度，使用注意力机制来实现。

视觉查询向量q-img是随机初始化的，在模型训练期间可学习。

最后，对所有的mi进行加权求和，来选择性的关注图像的某些内容。

上标1意味着是hop1的视觉输出

（2）文本特征提取

对文本使用Glove方法进行编码，编码结果如下所示：

与图像部分的操作类似，矩阵X和textual query vector q-text作为textual memory network的输入，通过一个单层感知机得到文本的隐藏表示gt。

随后使用注意力机制，其中q-text作为query，gt中的向量作为key和value，计算注意力权重。

对xt进行加权求和获得文本表示，实现对文本中富含情感信息单词的关注。

同样的，文本查询输入q-text也是随机初始化的，在模型训练期间可以进行学习。

2.co-memory network

（1）Text-guided Visual Memory Network（TgVMN）

该模块使用文本表示向量寻找关键的feature map。首先，将文本表示向量𝑣𝑡𝑒𝑥𝑡1和每一个特征图向量mi做concat操作。其次，将新的视觉记忆向量[mi,𝑣𝑡𝑒𝑥𝑡1]作为单层感知机的输入获得新的视觉隐藏表示h𝑖2。

通过h𝑖2输出新的视觉注意权重，随后使用加权求和的方法，得到第二个hop的视觉输出𝑣im𝑔2。

（2）Image-guided Textual Memory Network（IgTMN）

类似于（1）中的方法，最终得到第二个hop的文本输出𝑣tex𝑡2。

（3）Stacked Co-memory Network

采用堆叠多个Co-memory网络的方式，通过新更新的文本和图像表示，迭代地查询原始的图像记忆矩阵和文本记忆矩阵来探索文本和图像之间的微妙关系。

第k个memory hop的输出如下所示：

3.Sentiment Classification

在几个memory hop之后，联合最终的图像和文本的特征表示作为softmax层的输入进行情感分类。

三、注意力可视化

在一个消极的多模态tweet上，对最后一个co-memory注意力层的输出进行可视化，可视化结果如下所示：

BBBBBAAAAAi
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
中文part2 Multimodal Sentiment Analysis
01-24
Multimodal Sentiment Analysis (Socio-Affective Computing, Book 8) by Soujanya Poria and Amir Hussain This latest volume in the series, Socio-Affective Computing, presents a set of novel approaches to analyze opinionated videos and to extract sentiments and emotions.
Multimodal Sparse Representation-Based Classification for Lung Needle Biopsy Images
02-21
Lung needle biopsy image classification is a critical task for computer-aided lung cancer diagnosis. In this study, a novel method, multimodal sparse representation-based classification (mSRC), is proposed for classifying lung needle biopsy images. In the data acquisition procedure of our method, the cell nuclei are automatically segmented from the images captured by needle biopsy specimens. Then, features of three modalities (shape, color, and texture) are extracted from the segmented cell nucl
【论文精读】Multimodal Sentiment Analysis with Preferential Fusion and Distance-aware Contrastive Learning
最新发布
"You are worthy! You can do it!"
03-19 1316
基于优先融合和距离感知对比学习的多模态情感分析数据集：MOSEI, MOSI, SIMS, and UR-FUNNY实验运行环境：一个 NVIDIA RTX 3090 GPU代码地址：Github：通过将监督样本中的相同label的样本作为正样本，不同label的样本作为负样本，来进行对比学习；正样本：同类型数据负样本：不同类型数据。
Multi-Interactive Memory Network for Aspect BasedMultimodal Sentiment Analysis（AAAI-2019）
C_andylist的博客
03-12 5193
随着多模态用户生成内容（如文本和图像）在互联网上的流行，多模态情感分析近年来受到了越来越多的研究关注。在方面层面的情感分析中，多模态数据通常比纯文本数据更重要，并且具有各种相关性，包括该方面对文本和图像带来的影响，以及与文本和图像相关的交互作用。然而，到目前为止，在方面层面和多模态情感分析的交叉点上还没有进行任何相关的工作，因此本文提出了方面级情感分析任务。 本文贡献： （1）填补了方面级情感分析和多模态情感分析之间的空白。 （2）提出了一种多交互记忆网络来捕获多模态数据中的多重相关性...
论文笔记 Memory Fusion Network for Multi-view Sequential Learning (AAAI2018)
pku_langzi的博客
07-20 4851
这是卡内基梅隆大学与新加坡南洋理工大学在AAAI上发表的一篇利用memory network来处理序列建模的文章。
MultiSentiNet: A Deep Semantic Network for MultimodalSentiment Analysis（CCF B）
qq_43775680的博客
11-08 771
使用图像对象特征和场景特征指导文本特征向量的生成，最终求得了较好的性能。
记忆网络（Memory Network）
qq_38343151的博客
12-05 5773
一，MEMORY NETWORKS 论文是第一次提出记忆网络，利用记忆组件保存场景信息，以实现长期记忆的功能。对于很多神经网络模型，RNN，lstm和其变种gru使用了一定的记忆机制，在Memory Networks的作者看来，这些记忆都太小了。这就是这篇文章的目的。 本部分将从三个部分讲解这篇文章： 记忆网络各个组件的内容 记忆网络在nlp的使用 损失函数 1，记忆网络： 一个记忆网...
【自用】Deep Memory Network 深度记忆网络笔记
爱写bug的王六六
07-11 377
参考：从流域到海域-博客-Deep Memory Network 深度记忆网络 论文阅读-Memory Network 论文解读：记忆网络（Memory Network） RNN解决长期依赖的能力随着文本长度的增加越来越差，attention机制是解决这种问题的一种思路。 现在再来看另外一种思路—深度记忆网络：Deep Memory Network在Aspect based Sentiment等NLP领域都有过成功的实践，但其提出者本身是以通用模型的形式提出的。 Introduce of Memor
Summary - Video Object Segmentation using Space-Time Memory Networks
Mr.W的博客
07-24 1137
Seoung Wug Oh, Joon-Young Lee, Ning Xu, Seon Joo Kim ICCV 2019 [paper] [code] Summary reference：https://blog.csdn.net/McEason/article/details/104484705 半监督的 VOS：给出视频中第一帧的目标对象的 ground truth mask，要求在其他所有帧中分割出该目标对象。 Motivation 与单张图像分割不同，在视频对象分割中有更多的信息可以利用，如.
利用图神经网络（GNN）的视频/图像分割模型总结（AGNN、Episodic Graph Memory Networks、Cas-GNN）
zero_ling
02-17 4399
利用图神经网络（GNN）的视频/图像分割模型总结，包括对应论文引用示例、模型示意图、主要参数解释及计算、三种模型的相同与不同点对比。
AAAI 2020 Reasoning with Heterogeneous Graph Alignment for Video Question Answering∗
smile909的博客
04-24 630
动机 视频问答（VideoQA）的推理通常涉及两个领域的异构数据，即时空视频内容和语言文字序列。现有的方法主要集中在多模态的表示和融合方面，在对齐和推理方面的研究还很少。 近年来，多模态问答技术取得了显著进展，其中最具代表性的是视觉问答(VQA)和视频问答（VideoQA），其中VideoQA将VQA扩展到视频领域，对时空理解和推理提出了更高的要求。视频问答（VideoQA）旨在自动推理视频和文本问题的正确答案，近年来受到越来越多的关注。VideoQA的推理通常涉及两个领域的异构数据，即时空视频内容和语
DFT的matlab源代码-korean-audio-sentiment-analysis:韩语言语情感分析
05-26
DFT的matlab源代码韩国音频情感分析_v2 该项目是的一部分。 项目介绍/目标 。젝트의음성。을을을것입니것입니다。 该项目的目的是使用深度学习语音技术对韩国音频中的情绪进行分类。...KETI_MULTIMODAL_0000000012.
Multimodal-GPT-add-baize.zip
07-27
Multimodal-GPT-add_baize.zip
一文看懂 Bahdanau 和 Luong 两种 Attention 机制的区别
bbbeoy的专栏
08-23 672
https://zhuanlan.zhihu.com/p/129316415 参考： Neural Machine Translation by Jointly Learning to Align and Translate Effective Approaches to Attention-based Neural Machine Translation Attention Variants BahdanauAttention与LuongAttention注意力机制简介-CSDN..
【论文阅读】Tensor Fusion Network for Multimodal Sentiment Analysis
weixin_45420890的博客
07-29 5072
以往的多模态情感分析的工作中并没有直接考虑模态内和模态间的动态，而是执行早期融合（也称为特征级融合）或后期融合（也称为决策级融合）。早期融合主要包括在输入层面上简单地连接多模态特征，但是这种方法不能有效地建模模态内特征。而后期融合包括独立训练单模态分类器和执行决策投票，这种方法也不能有效地建模模态间动态。而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。作者在本文中介绍了一种新的用于情感分析的端到端融合方法，该方法明确表示行为之间的单模态、双模态和三模态的交互。......
VistaNet: Visual Aspect Attention Network for Multimodal Sentiment Analysis 论文笔记
weixin_42455006的博客
12-19 1856
VistaNet: Visual Aspect Attention Network for Multimodal Sentiment Analysis 论文笔记背景介绍基于评论的情感分析问题和想法VistaNet 方法层级注意力网络(HAN)词编码层句子编码层文档情感分类实验Q1：与多模态基线相比，这种视觉信息建模作为注意力的表现如何？Q2：该模型的各种架构组件的贡献是什么？Q3：增量添加图像有什么影响？贡献和结论 背景介绍 现在人手都有智能终端，随时随地都可以用来发布自己的信息，而人人也都可以随时随地
2019_AAAI_Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis
tcn760的博客
05-19 1356
Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis 论文地址：https://ojs.aaai.org/index.php/AAAI/article/view/3807 1、简介 方面级的情感分析的目标是为了识别一个句子中指定方面的情感极性，它可以分为一下两类： Aspect term：Aspect Term Sentiment Analysis的目标是预测每个实体的情感，实体为输入文本中提到的
UniMSE: Towards Unified Multimodal Sentiment Analysisand Emotion Recognition
G2025_06的博客
02-08 1140
MSA(多模态情感分析）和ERC(文本情绪识别）在现存的工作中总是作为两个独立的问题被研究，本文旨在将情感与情绪共同分析来更好地理解人类行为。
Gated Mechanism For Attention Based Multimodal Sentiment Analysis基于注意力的多模式情感分析的门控机制——阅读笔记
qq_38962336的博客
06-29 1996
文章目录1.摘要2.导论3. 提出的方法3.1 上下文话语表示3.2 自注意力3.3 交叉注意3.5 深度多模态融合4.实验4.1 实施细节4.2 实验结果5. 结论 1.摘要 本文主要探讨多模态情感分析的三个方面。 （1）跨模态交互学习，即多种模态如何影响情绪； （2）学习多模态交互中的长期依存关系； （3）单模态和跨模态线索的融合。 对两个基准数据集进行了实验，CMU多模态观点水平情感强度（CMU-MOSI）和CMU多模态观点情感和情绪强度（CMU-MOSEI）语料库，分别产生83.9％和81.1％的准
请讲一下UniMSE：Towards Unified Multimodal Sentiment Analysis and Emotion Recognition这篇论文中的模型
03-25
A: UniMSE是一种用于联合多模态情感分析和情感识别的模型，它是基于Transformer和多任务学习的思想构建而成。UniMSE包含两个部分：1）MASHQ:一个基于Transformer的跨模态情感分析器；2）SERQ:一个基于Transformer的跨模态情感识别器。 MASHQ是一个非常灵活的跨模态情感分析器，它可以同时处理文本、音频、图像和视频等不同类型的数据。MASHQ的输入由一个或多个不同类型的嵌入向量构成，每个向量表示不同类型的数据。通过多头自注意力机制，MASHQ能够自动地学习到在不同模态之间共享的特征和模式，并将它们整合起来进行情感分析。 SERQ则是用于识别输入数据的情感状态。与MASHQ类似，SERQ也是一个基于Transformer的模型，它从输入的数据中学习到语义信息和情感特征。SERQ的输出是一个情感标签，表示输入数据的情感状态，例如高兴、悲伤、愤怒等。 两个模型都使用多任务学习的方法，以最小化总损失函数。这种方法可以使两个模型更好地协同工作，共同完成跨模态情感分析和情感识别的任务。 总体而言，UniMSE提供了一种有效的方法来处理多种不同类型的数据，并能有效地识别和分析其中的情感信息。这一技术具有广泛的应用前景，例如娱乐、医疗、安防等领域都可以应用UniMSE来进行情感分析和情感识别。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值