近3三年多模态情感分析论文及其代码

已于 2023-03-23 21:15:16 修改
阅读量9.3k 收藏 227
点赞数 15
文章标签： 自然语言处理 人工智能
于 2023-03-23 19:38:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41458274/article/details/129729849
版权

排行榜：

在CMU-MOSE数据集排行榜

CMU-MOSEI Benchmark (Multimodal Sentiment Analysis) | Papers With Code

在MOSI数据集排行榜

MOSI Benchmark (Multimodal Sentiment Analysis) | Papers With Code

2022年

《M-SENA: An Integrated Platform for Multimodal Sentiment Analysis》

ACL；ACL ; star:317；2022

UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition

star:44; 2022;  MOSI数据排行第1

MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis

star:14; 2022; CMU-MOSEI排行第3

The MuSe 2022 Multimodal Sentiment Analysis Challenge: Humor, Emotional Reactions, and Stressstar:19;2022;

Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors

star:15;2022;

2021年

Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis

star:444; 2021;

Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis

EMNLP；star:444 ；2021；CMU-MOSEI的sota4;

Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis

ACL;   star:317;  2021

​​​​​​CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks

EMNLP;   star:190; 对比学习；2021；

Learning Implicit Sentiment in Aspect-based Sentiment Analysis with Supervised Contrastive Pre-Training EMNLP;   star:70; 对比学习（好像都用在ABSA上）；2021；

The MuSe 2021 Multimodal Sentiment Analysis Challenge: Sentiment, Emotion, Physiological-Emotion, and Stress

star:34; 2021;

2020年

​​​​​​CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotation of ModalityACL；star:317 2020

MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

star:105; 2020

x_cube
关注
基于 Transformer 的多子空间多模态情感分析-数据代码
06-26 948
基于 Transformer 的多子空间多模态情感分析-数据代码
（MLLMs）多模态大模型论文分享（1）
weixin_41964296的博客
07-19 537
多模态模型结合了多种数据类型，包括图像、文本、音频等。传统的大型语言模型(LLM)主要训练和应用于文本数据，但它们在理解其他数据类型方面有局限性。纯文本LLM，如GPT-3， BERT和RoBERTa，在文本生成和编码等任务中表现出色，但它们缺乏对其他数据类型的全面理解和处理。为了解决这个问题，多模态LLM集成了多种数据类型，克服了纯文本模型的限制，并为处理不同数据类型开辟了可能性。GPT-4是多模态LLM的一个很好的例子。它可以接受图像和文本形式的输入，并在各种基准测试中展示了人类水平的性能。
【传知代码】CENet及多模态情感计算实战（论文复现）
ztK63LrD的博客
08-11 1131
情感分析在人工智能向情感智能发展中起着重要作用。早期的情感分析研究主要集中在分析单模态数据上，包括文本情感分析、图像情感分析、音频情感分析等。然而，人类的情感是通过人体的多种感官来传达的。因此，单模态情感分析忽略了人类情感的多维性。相比之下，多模态情感分析通过结合文本、视觉和音频等多模态数据来推断一个人的情感状态。与单模态情感分析相比，多模态数据包含多样化的情感信息，具有更高的预测精度。目前，多模态情感分析已被广泛应用于视频理解、人机交互、政治活动等领域。
多模态情感分析自研代码——基于Transformer-Lstm-交叉注意力进行三模态情感分析
小嘤熊的博客
02-02 1931
（1）下载地址html（2）模态介绍CMU-MOSI数据集和CMU-MOSEI数据集的模态有3种（语言，视觉，声音），数据集使用的是已对齐原始raw数据特征。（3）标签介绍既有情感标注又有情绪标注。情感标注是对每句话的7分类的情感标注，作者还提供了了2/5/7分类的标注。情绪标注是包含高兴，悲伤，生气，恐惧，厌恶，惊讶六个方面的情绪标注。数据集是多标签特性，即每一个样本对应的情绪可能不止一种，对应情绪的强弱也不同，在[-3~3]之间。（4）评价标准。
多模态生理信号情感识别 附代码+报告
02-10 2421
多模态生理信号情感识别 附代码+报告
MultiModalSA:CMU-MOSEI的多模态情感分析架构
04-13
多模态 CMU-MOSEI的多模态情感分析体系结构。 描述 该信息库包含四种多模式体系结构以及用于CMU-MOSEI的情感分析的相关培训和测试功能。 在数据文件夹中，提供了转录和标签，以用于的标准培训，验证和测试语句。 可以通过以下链接下载BERT嵌入（文本模式），COVAREP功能（音频模式）和FACET功能（视频模式）： BERT嵌入： ：//drive.google.com/file/d/13y2xoO1YlDrJ4Be2X6kjtMzfRBs7tBRg/view？usp COVAREP： ://drive.google.com/file/d/1XpRN8xoEMKxubBHaNyEivgRbnVY2iazu/view usp sharing 脸部表情： ：//drive.google.com/file/d/1BSjMfKm7FQM8n3HHG5Gn9-dTifULC
python实现keras多模态（语音文字图像）情绪识别【文末源码】
water的博客
04-26 2433
【代码】python实现keras多模态（语音文字图像）情绪识别【文末源码】
论文研究-基于深度模态融合网络的多模态情感识别 .pdf
08-14
基于深度模态融合网络的多模态情感识别，陈坤，夏海轮，情感识别在情感计算领域是一个具有挑战性的课题，因为从音视频多模态数据中提取出具有判别性的特征来识别人类情感中的细微差距仍
多模态情感分析模型VistaNet代码实践
予以初始的博客
01-20 5083
目录1 介绍2 原理简述3 层的定义4 模型定义写在最后 1 介绍 关于模型 VistaNet 的原理，我已在之前的文章 基于多模态数据的情感分析 中进行了详细介绍。本文是其姊妹篇，主要以搭建模型的代码为主，对算法原理不清楚的小伙伴建议先熟悉一下原理。 鉴于有很多小伙伴评论和私信问我有没有此模型的代码，最近两天我对 VistaNet 进行了复现，本文会结合算法的原理进行代码的讲解，代码中加入充分注释以易理解。 Tips: 文本代码使用 TF2.x 实现。 下面进入正题… 2 原理简述 上图为 VistaNe
Multimodal Fusion（多模态融合）
热门推荐
nakaizura
03-28 20万+
Jeff Dean：我认为，2020年在多任务学习和多模态学习方面会有很大进展，解决更多的问题。我觉得那会很有趣。 多模态融合 （Multimodal Fusion） 一般来说，每一种信息的来源或者形式，都可以称为一种模态（Modality），目前研究领域中主要是对图像，文本，语音三种模态的处理。之所以要对模态进行融合，是因为不同模态的表现方式不一样，看待事物的角度也会不一样，所以存在一些交叉（所...
《深入浅出多模态》之多模态技术知识总结（上）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
11-11 483
本文为《深入浅出多模态》系列总览篇，分为上下两篇，本期分享从多模态概念与意义、任务类型及数据集和基础知识等方面介绍多模态技术，主要对模型进行详述，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎关注及订阅！
基于 python 实现多模态情感分析的反事实推理模型框架
06-20
【作品名称】：基于 python 实现多模态情感分析的反事实推理模型框架 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：We use the PyTorch framework. Python version: 1.7 PyTorch version: 1.3.1 pip install -r requirements.txt Training Train CLUE_model python train.py
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 1899
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
MSA+抑郁症模型总结（一）（论文复现）
wei_shuo的博客
07-31 1305
MSA+抑郁症模型总结（一）（论文复现）
多模态情感分析
weixin_40875443的博客
05-12 2385
多模态分析数据集（Multimodal Dataset） 不只情感分析 《Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis》 阅读笔记
多模态情感分析——多模态联邦学习UTMP源码(2023ArXiv)
小嘤熊的博客
01-09 1712
设计了HA-Fedformer，这是一种基于变压器的新型模型，可以在客户端仅使用单模态数据集进行单模态训练，并通过聚合多个客户端的知识来进行多模态测试，以提高准确性。均方误差（MSE）、平均绝对误差(MAE)、Pearson相关性(Corr)、二元精度(Acc-2)、F-Score(F1)和多级精度(Acc-7)范围从-3到3。第二种，负类和正类的范围分别为[-3,0)和(0,3]。CMU-MOSI数据集和CMU-MOSEI数据集的模态有3种（语言，视觉，声音），数据集使用的是已对齐原始raw数据特征。
多模态情感分析——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
小嘤熊的博客
01-05 1万+
而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。首先，采用早融合策略 将各模态特征进行拼接，然后将拼接的特征输入分类器中，并且每个模态的特征也单独输入 分类器中，最终得到所有组合的分类结果，并将所有分类结果进行晚融合策略。提出了一种新的模型Tensor Fusion Network（张量融合网络，TFN），TFN能够端到端地学习模态内和模态间的动态，采用一种新的多模态融合方法（张量融合）对模态间动态进行建模，模态内动态则通过三个模态嵌入子网络进行建模。
多模态情感分析 复现
最新发布
02-23
### 复现多模态情感分析的方法和代码 #### 准备环境 为了成功复现多模态情感分析的研究成果，首先需要准备合适的开发环境。建议使用 Python 3.7 或更高版本，并安装 PyTorch 深度学习框架[^2]。 ```bash conda create -n multimodal python=3.8 conda activate multimodal pip install torch torchvision torchaudio ``` #### 数据集获取与预处理 数据集的选择对于实验的成功至关重要。通常使用的公开数据集包括 IEMOCAP 和 MELD 等。这些数据集中包含了音频、视频以及文本等多种形式的数据。下载所需数据集后，需对其进行必要的清理和转换操作以便后续训练模型所用。 #### 构建基础网络结构 基于自监督多任务学习构建模态特定表示的学习机制可以有效提高跨不同感官输入的一致性和互补性[^1]。下面是一个简单的神经网络定义例子： ```python import torch.nn as nn class MultiModalNet(nn.Module): def __init__(self, text_dim, audio_dim, video_dim, hidden_size, num_classes): super(MultiModalNet, self).__init__() # 定义各单模态编码器 self.text_encoder = nn.Linear(text_dim, hidden_size) self.audio_encoder = nn.LSTM(input_size=audio_dim, hidden_size=hidden_size//2, bidirectional=True, batch_first=True)[0] self.video_encoder = nn.Conv1d(in_channels=video_dim, out_channels=hidden_size, kernel_size=3) # 融合层 self.fusion_layer = nn.Linear(hidden_size * 3, num_classes) def forward(self, texts, audios, videos): txt_out = F.relu(self.text_encoder(texts)) aud_out, _ = self.audio_encoder(audios) vid_out = F.max_pool1d(F.relu(self.video_encoder(videos)), kernel_size=videos.size(-1)).squeeze(2) combined = torch.cat((txt_out.mean(dim=1), aud_out[:, :, :].mean(dim=1), vid_out), dim=-1) output = self.fusion_layer(combined) return output ``` #### 训练过程配置 采用适当优化算法（如 AdamW），设定损失函数（交叉熵损失适用于分类任务），并通过早停法防止过拟合现象的发生。同时记录验证集上的表现指标来评估模型性能变化趋势。 #### 测试与评价 完成训练之后，在独立测试集合上运行最佳权重对应的模型实例，收集预测结果并与真实标签对比计算各项评测分数，比如准确率、F1 值等统计量。 #### 实际应用场景拓展 通过引入上下文感知图卷积网络(COGMEN)，可以在更复杂的交互环境中进一步增强情绪识别的效果；而 CENet 则展示了其强大的多模态融合能力，不仅限于基本的情感类别判断，还能支持更加细致入微的情绪状态解析[^4]。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值