近3三年多模态情感分析论文及其代码

已于 2023-03-23 21:15:16 修改
阅读量7.5k 收藏 195
点赞数 12
文章标签： 自然语言处理 人工智能
于 2023-03-23 19:38:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41458274/article/details/129729849
版权

排行榜：

在CMU-MOSE数据集排行榜

CMU-MOSEI Benchmark (Multimodal Sentiment Analysis) | Papers With Code

在MOSI数据集排行榜

MOSI Benchmark (Multimodal Sentiment Analysis) | Papers With Code

2022年

《M-SENA: An Integrated Platform for Multimodal Sentiment Analysis》

ACL；ACL ; star:317；2022

UniMSE: Towards Unified Multimodal Sentiment Analysis and Emotion Recognition

star:44; 2022;  MOSI数据排行第1

MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis

star:14; 2022; CMU-MOSEI排行第3

The MuSe 2022 Multimodal Sentiment Analysis Challenge: Humor, Emotional Reactions, and Stressstar:19;2022;

Sentiment Word Aware Multimodal Refinement for Multimodal Sentiment Analysis with ASR Errors

star:15;2022;

2021年

Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis

star:444; 2021;

Improving Multimodal Fusion with Hierarchical Mutual Information Maximization for Multimodal Sentiment Analysis

EMNLP；star:444 ；2021；CMU-MOSEI的sota4;

Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis

ACL;   star:317;  2021

​​​​​​CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks

EMNLP;   star:190; 对比学习；2021；

Learning Implicit Sentiment in Aspect-based Sentiment Analysis with Supervised Contrastive Pre-Training EMNLP;   star:70; 对比学习（好像都用在ABSA上）；2021；

The MuSe 2021 Multimodal Sentiment Analysis Challenge: Sentiment, Emotion, Physiological-Emotion, and Stress

star:34; 2021;

2020年

​​​​​​CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotation of ModalityACL；star:317 2020

MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis

star:105; 2020

x_cube
关注
基于 Transformer 的多子空间多模态情感分析-数据代码
06-26 554
基于 Transformer 的多子空间多模态情感分析-数据代码
多模态情感分析-基于BERT+ResNet的多种融合方法
06-27
多模态情感分析——基于BERT+ResNet50的多种融合方法，数据学院人工智能课程第五次实验代码 本项目基于Hugging Face和torchvision实现，共有五种融合方法（2Naive 3Attention），在Models文件夹中查看 Requirements chardet==4.0.0 numpy==1.22.2 Pillow==9.2.0 scikit_learn==1.1.1 torch==1.8.2 torchvision==0.9.2 tqdm==4.63.0 transformers==4.18.0 pip install -r requirements.txt
【传知代码】CENet及多模态情感计算实战（论文复现）
最新发布
ztK63LrD的博客
08-11 696
情感分析在人工智能向情感智能发展中起着重要作用。早期的情感分析研究主要集中在分析单模态数据上，包括文本情感分析、图像情感分析、音频情感分析等。然而，人类的情感是通过人体的多种感官来传达的。因此，单模态情感分析忽略了人类情感的多维性。相比之下，多模态情感分析通过结合文本、视觉和音频等多模态数据来推断一个人的情感状态。与单模态情感分析相比，多模态数据包含多样化的情感信息，具有更高的预测精度。目前，多模态情感分析已被广泛应用于视频理解、人机交互、政治活动等领域。
python实现keras多模态（语音文字图像）情绪识别【文末源码】
water的博客
04-26 2151
【代码】python实现keras多模态（语音文字图像）情绪识别【文末源码】
情感分析与多模态学习：挖掘人类情感的深层次
AI天才研究院
01-07 1382
1.背景介绍 情感分析，也被称为情感检测或情感识别，是一种自然语言处理(NLP)技术，旨在从文本数据中识别和分析情感信息。情感分析在社交媒体、客户反馈、市场调查和广告评估等方面具有广泛应用。然而，情感分析的准确性和可靠性受到许多因素的影响，例如文本的语境、情感表达的多样性和语言的复杂性。 多模态学习是一种机器学习方法，旨在从多种数据类型(如文本、图像、音频和视频)中学习有意义的特征和模式。多模...
多模态情感分析——MVSA数据集
小嘤熊的博客
11-06 2793
删除 MVSA-Single 数据集中图片和文字标注情感的正负极性不同（存在positive和negative）的图文对，剩余的图文对中，如果图片或者文本的情感有一者为中性（neutral），则选择另一个积极或者消极的标签作为该图文对的情感标签，最终得到4511个图文对。采用投票机制，即统计情感极性标注出现次数最多的作为标签，如果出现两种标签各有三个的情况则进行删除，最终得到16779个图文对。，前者的每条图文对只有一个标注，后者的每条图文对由三个标注者给出。数据集包含 5,129 条图文对（
多模态生理信号情感识别 附代码+报告
02-10 1911
多模态生理信号情感识别 附代码+报告
MultiModalSA:CMU-MOSEI的多模态情感分析架构
04-13
多模态 CMU-MOSEI的多模态情感分析体系结构。 描述 该信息库包含四种多模式体系结构以及用于CMU-MOSEI的情感分析的相关培训和测试功能。 在数据文件夹中，提供了转录和标签，以用于的标准培训，验证和测试语句。 可以通过以下链接下载BERT嵌入（文本模式），COVAREP功能（音频模式）和FACET功能（视频模式）： BERT嵌入： ：//drive.google.com/file/d/13y2xoO1YlDrJ4Be2X6kjtMzfRBs7tBRg/view？usp COVAREP： ://drive.google.com/file/d/1XpRN8xoEMKxubBHaNyEivgRbnVY2iazu/view usp sharing 脸部表情： ：//drive.google.com/file/d/1BSjMfKm7FQM8n3HHG5Gn9-dTifULC
论文研究-基于深度模态融合网络的多模态情感识别 .pdf
08-14
基于深度模态融合网络的多模态情感识别，陈坤，夏海轮，情感识别在情感计算领域是一个具有挑战性的课题，因为从音视频多模态数据中提取出具有判别性的特征来识别人类情感中的细微差距仍
多模态情感分析模型VistaNet代码实践
予以初始的博客
01-20 4773
目录1 介绍2 原理简述3 层的定义4 模型定义写在最后 1 介绍 关于模型 VistaNet 的原理，我已在之前的文章 基于多模态数据的情感分析 中进行了详细介绍。本文是其姊妹篇，主要以搭建模型的代码为主，对算法原理不清楚的小伙伴建议先熟悉一下原理。 鉴于有很多小伙伴评论和私信问我有没有此模型的代码，最近两天我对 VistaNet 进行了复现，本文会结合算法的原理进行代码的讲解，代码中加入充分注释以易理解。 Tips: 文本代码使用 TF2.x 实现。 下面进入正题… 2 原理简述 上图为 VistaNe
基于 python 实现多模态情感分析的反事实推理模型框架
06-20
【作品名称】：基于 python 实现多模态情感分析的反事实推理模型框架 【适用人群】：适用于希望学习不同技术领域的小白或进阶学习者。可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。 【项目介绍】：We use the PyTorch framework. Python version: 1.7 PyTorch version: 1.3.1 pip install -r requirements.txt Training Train CLUE_model python train.py
"视觉语言多模态情感分析预训练框架
+v：mala2277获取更多论文多模态情感分析的视觉语言预训练Yan Ling，Jianfei YuYu，Rui XiaYu南京理工大学{ylin，jfyu，rxia}@njust.edu.cn摘要多模态情感分析作为情感分析中的一个重要任务，近年来受到越来越多的...
（MLLMs）多模态大模型论文分享（1）
weixin_41964296的博客
07-19 230
多模态模型结合了多种数据类型，包括图像、文本、音频等。传统的大型语言模型(LLM)主要训练和应用于文本数据，但它们在理解其他数据类型方面有局限性。纯文本LLM，如GPT-3， BERT和RoBERTa，在文本生成和编码等任务中表现出色，但它们缺乏对其他数据类型的全面理解和处理。为了解决这个问题，多模态LLM集成了多种数据类型，克服了纯文本模型的限制，并为处理不同数据类型开辟了可能性。GPT-4是多模态LLM的一个很好的例子。它可以接受图像和文本形式的输入，并在各种基准测试中展示了人类水平的性能。
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 1076
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
多模态知识图谱构建与应用知网文献总结
weixin_46569877的博客
01-14 1979
1、多模态教学知识图谱的构建与应用： 论文中以《数据结构（c++）》为例，以教学教材、教学大纲、网络资源等为依据，对知识点进行分类汇总，从中抽取预先定义好的一些属性的值。 教材、大纲以及网络资源（信息来源）——知识点总结——知识点（独立，需要通过关联关系进行关系挖掘，通过知识点之间的关系建立联系——根据与定义好的属性，进行属性值以及多模态资源的抽取。 建模： （1）文字描述型资源：教学大纲、教材等书本资料以及网络资源中获取。 （2）代码类资源：教材、习题册等网络资源中获取。 （3）多模态资源：图片、视频、语
MSA+抑郁症模型总结（一）（论文复现）
wei_shuo的博客
07-31 997
MSA+抑郁症模型总结（一）（论文复现）
多模态 | 基于GNN的多模态情感识别技术COGMEN项目实现，代码分析，并训练自己的数据集，后期修改网络，运行全部过程以及经验总结
weixin_44649780的博客
04-03 2861
训练后，生成model_checkpoints目录，如下。对于已经有pytorch的情况，我只安装了以下命令。如果安装GPU版本，cuda版本需要11.7及以上。数据集：iemocap_4。对数据集进行处理，运行。
基于深度学习的多模态情感分析代码
04-29
基于深度学习的多模态情感分析是一将多种感知模态（如文本、图像、音频等）结合起来进行情感分析的方法。下面是一个简单的基于深度学习的多模态情感分析代码的示例： ```python import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader # 定义模型 class MultiModalSentimentAnalysis(nn.Module): def __init__(self): super(MultiModalSentimentAnalysis, self).__init__() # 定义文本模态的网络结构 self.text_model = nn.Sequential( nn.Linear(text_input_size, hidden_size), nn.ReLU(), ... ) # 定义图像模态的网络结构 self.image_model = nn.Sequential( nn.Conv2d(image_input_channels, hidden_channels, kernel_size), nn.ReLU(), ... ) # 定义音频模态的网络结构 self.audio_model = nn.Sequential( nn.Conv1d(audio_input_channels, hidden_channels, kernel_size), nn.ReLU(), ... ) # 定义融合模态的网络结构 self.fusion_model = nn.Sequential( nn.Linear(hidden_size + hidden_channels + hidden_channels, fusion_hidden_size), nn.ReLU(), ... ) # 定义情感分类层 self.sentiment_classifier = nn.Linear(fusion_hidden_size, num_classes) def forward(self, text_input, image_input, audio_input): text_output = self.text_model(text_input) image_output = self.image_model(image_input) audio_output = self.audio_model(audio_input) fusion_input = torch.cat((text_output, image_output, audio_output), dim=1) fusion_output = self.fusion_model(fusion_input) sentiment_output = self.sentiment_classifier(fusion_output) return sentiment_output # 定义数据集和数据加载器 dataset = MyMultiModalDataset(...) dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True) # 初始化模型和优化器 model = MultiModalSentimentAnalysis() optimizer = optim.Adam(model.parameters(), lr=learning_rate) # 训练模型 for epoch in range(num_epochs): for batch_data in dataloader: text_input, image_input, audio_input, labels = batch_data optimizer.zero_grad() outputs = model(text_input, image_input, audio_input) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 使用训练好的模型进行预测 text_input, image_input, audio_input = get_test_data() outputs = model(text_input, image_input, audio_input) predicted_labels = torch.argmax(outputs, dim=1) ``` 这是一个简单的多模态情感分析代码示例，其中包括了定义模型、数据集和数据加载器、训练模型以及使用训练好的模型进行预测的步骤。你可以根据自己的需求进行修改和扩展。
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值