UniMSE: Towards Unified Multimodal Sentiment Analysisand Emotion Recognition

已于 2023-02-08 18:02:25 修改
阅读量1.1k 收藏 8
点赞数 1
文章标签： 人工智能 深度学习 Powered by 金山文档
于 2023-02-08 16:45:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/G2025_06/article/details/128936811
版权
本文提出了一种名为UniMSE的框架，旨在统一多模态情感分析（MSA）和情绪识别（ERC）。通过特征、标签和模型的统一，以及模态融合和对比学习，该框架提高了理解和捕捉情感与情绪差异性的能力。实验在多个数据集上展示了优秀的性能，验证了情感与情绪之间的互补性。
摘要由CSDN通过智能技术生成

  • Abstract

研究目的：MSA(多模态情感分析）和ERC(文本情绪识别）在现存的工作中总是作为两个独立的问题被研究，本文旨在将情感与情绪共同分析来更好地理解人类行为。

本文工作：1.提出一个多模态情感知识共享的框架UniMSE,将MSA和ERC任务在特征、标签和模型三个方面进行了统一。2、在句法和语义层面执行模态融合。3、在模态和样本间引入了对比学习，更好地捕捉情感和情绪之间的差异性和一致性。

  • Introduction

MSA:预测情感倾向及强度（positive，1.6）

ERC：预测预先定义好的情绪种类（joy）

Figure1所示，通过计算相同情感极性标签样本之间的相似度，来得到样本的unified label统一标签。

  • Related Work

MSA

ERC

Unified Framework：将相关但不同的任务统一到一个框架中，(介绍了一堆相关工作）这些工作证明了这种统一框架在提高模型性能和泛化方面的优越性。在本文中，使用T5作为backbone，统一了MSA和ERC，并在这个框架中学习了一个统一的嵌入空间。

  • Method

  1. 总体结构

三部分：task formalization, pre-trained modality fusion, inter-modality contrastive learning;

    最低0.47元/天 解锁文章
    久久为功——
    关注
    AAAI 2022 论文列表
    gbstack08的专栏
    02-15 2万+
    链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
    论文“UniMSE: Towards Unified Multimodal Sentiment Analysisand Emotion Recognition“阅读笔记
    qq_53239443的博客
    03-21 790
    多模态情感分析（MSA）和会话中的情感识别（ERC）是计算机理解人类行为的关键研究课题。从心理学的角度来看，情绪是在短时间内表达情感或感受，而情绪则是在较长时间内形成和保持的。然而，大多数现有的作品分别研究情感和情绪，并没有充分利用两者背后的互补知识。在本文中，我们提出了一个多模态情感知识共享框架（UniMSE），统一了MSA和ERC任务的功能，标签和模型。我们在句法和语义层面进行模态融合，并在模态和样本之间引入对比学习，以更好地捕捉情感和情绪之间的差异和一致性。
    中文part2 Multimodal Sentiment Analysis
    01-24
    Multimodal Sentiment Analysis (Socio-Affective Computing, Book 8) by Soujanya Poria and Amir Hussain This latest volume in the series, Socio-Affective Computing, presents a set of novel approaches to analyze opinionated videos and to extract sentiments and emotions.
    【论文阅读】UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition（EMNLP 2022）
    weixin_48432468的博客
    02-28 1039
    一个多模态情感知识共享框架 (UniMSE)，它统一了来自特征、标签和模型的 MSA 和 ERC 任务。
    论文阅读 UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition论文阅读
    zhous_的博客
    06-06 767
    MSA的目标是预测情绪强度或极性，ERC的目标是预测预定义的情绪类别，，在图1中，说明了情感和情绪是如何在语言或非语言中相关的，并且可以被投射到一个统一的嵌入空间中提出了一种基于统一MSA和ERC (UniMSE)任务的多模态情感知识共享框架。UniMSE将MSA和ERC重新定义为生成任务，统一输入、输出和任务。提取和统一音视频特征，将MSA和ERC标签形式化为UL (Universal labels)，统一情感和情感。之前在多层级文本特征的多模态融合方面的研究(Peters等人，2018;
    UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition
    自己在学习过程中的总结
    02-02 1000
    UniMSE：实现统一的多模态情感分析和情绪识别。总结：提出了一个 UniMSE 的框架，利用该框架将情感和情绪联合建模（将 MSA 任务和 ERC 任务统一起来），通过将 PMF 嵌入 T5 架构中去实现多模态融合表征的获取。 文章信息。作者：Guimin Hu；Yi Zhao；单位：Harbin Institute of Technology（哈尔滨工业大学）；会议/期刊：Proceedings of the 2022 Conference on Empirical Methods in Natural
    UniMSE(2022)统一的多模态情感分析与情感识别(多层融合和对比学习)
    大肉包的博客
    12-12 3917
    此外，还融合了具有多层次文本特征的听觉和视觉模态表示，并引入了跨模态对比学习。MSA和ERC的四个公开基准数据集上进行了实验，包括多模态意见水平情绪强度数据集 (MOSI)，多模态观点、情绪与情绪强度(MOSEI)，Multimodal EmotionLines数据集(MELD) ，交互式情感二元动作捕捉数据库(IEMOCAP)作者提出了一个预训练的模态融合层(PMF)，并将其嵌入到T5的Transformer 层中，该层将具有不同级别文本特征的声学和视觉信息融合在一起，以探测更丰富的信息。
    请讲一下UniMSE：Towards Unified Multimodal Sentiment Analysis and Emotion Recognition这篇论文中的模型
    03-25
    A: UniMSE是一种用于联合多模态情感分析和情感识别的模型，它是基于Transformer和多任务学习的思想构建而成。UniMSE包含两个部分：1）MASHQ:一个基于Transformer的跨模态情感分析器；2）SERQ:一个基于Transformer的...
    UniMSE：Towards Unified Multimodal Sentiment Analysis and Emotion Recognition这篇文章中，模型特点是什么？
    03-25
    A：UniMSE是一种基于Transformer架构的统一多模态情感分析和情感识别模型。它能够同时处理文本、音频和图像等多种模态的数据，实现了在不同模态上的情感识别和情感分析任务的统一。模型的特点包括：具有多模态编码器...
    （十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
    Jojo论文基地
    08-28 7174
    CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
    A Co-Memory Network for Multimodal Sentiment Analysis
    qq_43775680的博客
    11-05 1103
    首次使用co-memory来提升多模态情感分析的性能，达到了当时的SOTA效果
    【论文阅读】Tensor Fusion Network for Multimodal Sentiment Analysis
    weixin_45420890的博客
    07-29 5474
    以往的多模态情感分析的工作中并没有直接考虑模态内和模态间的动态，而是执行早期融合（也称为特征级融合）或后期融合（也称为决策级融合）。早期融合主要包括在输入层面上简单地连接多模态特征，但是这种方法不能有效地建模模态内特征。而后期融合包括独立训练单模态分类器和执行决策投票，这种方法也不能有效地建模模态间动态。而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。作者在本文中介绍了一种新的用于情感分析的端到端融合方法，该方法明确表示行为之间的单模态、双模态和三模态的交互。......
    一文看懂 Bahdanau 和 Luong 两种 Attention 机制的区别
    bbbeoy的专栏
    08-23 703
    https://zhuanlan.zhihu.com/p/129316415 参考： Neural Machine Translation by Jointly Learning to Align and Translate Effective Approaches to Attention-based Neural Machine Translation Attention Variants BahdanauAttention与LuongAttention注意力机制简介-CSDN..
    MultiSentiNet: A Deep Semantic Network for MultimodalSentiment Analysis（CCF B）
    qq_43775680的博客
    11-08 816
    使用图像对象特征和场景特征指导文本特征向量的生成，最终求得了较好的性能。
    【论文泛读】Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis
    ⛄
    08-19 588
    论文题目：Deep-HOSeq: Deep Higher Order Sequence Fusion for Multimodal Sentiment Analysis 时间：2020 来源：ICDM 论文链接：https://arxiv.org/pdf/2010.08218.pdf 摘要 在社交媒体平台（如 YouTube、Facebook 等）上分享观点鲜明的视频越来越受欢迎。在这些平台上，演讲者的情绪可通过多种异构形式的信息获得，如语言（口语）、视觉手势和声音（语音）。虽然在使用语言进行情感分析方.
    Gated Mechanism For Attention Based Multimodal Sentiment Analysis基于注意力的多模式情感分析的门控机制——阅读笔记
    qq_38962336的博客
    06-29 2260
    文章目录1.摘要2.导论3. 提出的方法3.1 上下文话语表示3.2 自注意力3.3 交叉注意3.5 深度多模态融合4.实验4.1 实施细节4.2 实验结果5. 结论 1.摘要 本文主要探讨多模态情感分析的三个方面。 （1）跨模态交互学习，即多种模态如何影响情绪； （2）学习多模态交互中的长期依存关系； （3）单模态和跨模态线索的融合。 对两个基准数据集进行了实验，CMU多模态观点水平情感强度（CMU-MOSI）和CMU多模态观点情感和情绪强度（CMU-MOSEI）语料库，分别产生83.9％和81.1％的准
    推荐使用：UniMSE - 统一多模态情感分析与情绪识别框架
    最新发布
    gitblog_00087的博客
    06-10 477
    推荐使用：UniMSE - 统一多模态情感分析与情绪识别框架 项目地址:https://gitcode.com/lemei/UniMSE 在这个数字化的时代，理解和解析人类的情感表达对人机交互至关重要。UniMSE 是一项创新的开源项目，它旨在统一多模态情感分析（MSA）和对话中的情绪识别（ERC），为这两项任务提供一个全新的视角。由EMNLP 2022会议发表，这个框架利用了情感和情绪之间的互补...
    探索深度学习的情感世界：Multimodal-Sentiment-Analysis
    gitblog_00017的博客
    06-09 897
    探索深度学习的情感世界：Multimodal-Sentiment-Analysis Multimodal-Sentiment-Analysis多模态情感分析——基于BERT+ResNet的多种融合方法项目地址:https://gitcode.com/gh_mirrors/mu/Multimodal-Sentiment-Analysis 在这个数字化时代，人们的情绪表达不再仅限于文字，图像和表情符...
    评论 2
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值