多模态情感分析——MVSA数据集

已于 2024-06-30 20:37:51 修改
阅读量4.7k 收藏 23
点赞数 3
分类专栏： NLP自然语言处理 付费专栏 文章标签： 自然语言处理 人工智能 pytorch python
于 2023-11-06 13:27:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41301570/article/details/134244229
版权

一、原始数据集

数据集链接：https://mcrlab.net/research/mvsa-sentiment-analysis-on-multi-view-social-data/

数据集介绍：由两个独立的数据集组成，分别是MVSA-Single数据集和 MVSA-Multi数据集，前者的每条图文对只有一个标注，后者的每条图文对由三个标注者给出。官方声明MVSA-Single数据集包含 5,129 条图文对（实际只有4869条），MVSA-Multi 包含了 19,600 条图文对（实际19600条，）。

（1）MVSA-Single数据集

图片

（2）MVSA-Multi数据集

图片

二、处理方法

（1）MVSA-Single数据集

删除 MVSA-Single 数据集中图片和文字标注情感的正负极性不同（存在positive和negative）的图文对，剩余的图文对中，如果图片或者文本的情感有一者为中性（neutral），则选择另一个积极或者消极的标签作为该图文对的情感标签，最终得到4511个图文对。

图片

（2）MVSA-Multi数据集

采用投票机制，即有 2 个或 2 个以上的标注者给出的情感极性标注一致，则保留该条数据，否则删除。先基于MVSA-Single 的方法确定每个人的标签，然后根据三个人统计结果进行投票，最终得到17510个图文对。

注：由于数据集中存在损坏图片：3151.jpg、3910.jpg、5995.jpg，因此将其进行去除，最终实际得到17507个图文对。

图片

 处理后的数据：多模态情感分析——MVSA数据集

最后：

如果你想要进一步了解更多的相关知识，可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner，gui设计、simulink仿真......希望能帮到你！

5a8015ddde1e41418a38e958eb12ecbd.png

智能分析：多模态分析_（7）.多模态情感分析
zhubeibei168的博客
03-27 1067
多模态情感分析是指通过多种模态（如文本、语音、图像、视频等）综合分析人类情感的技术。在现实世界中，情感表达通常是多模态的，例如在社交媒体上，用户不仅会用文字描述自己的感受，还会通过图片、视频和语音来传达情感。因此，多模态情感分析能够更全面、准确地理解用户的情感状态，具有广泛的应用前景，如智能客服、内容审核、市场分析等。
（十二）：多模态的情感分析技术综述
Wangzx的博客
04-22 3393
文献阅读（十二）：多模态的情感分析技术综述摘要引言1. 多模态情感分析数据集2. 单模态的情感分析算法3. 多模态情感分析技术以及现有的模态融合技术4. 总结和展望 摘要 主要内容： 多模态情感分析的基本概念以及研究现状简要介绍。 总结了常用的多模态情感分析数据集。 然后分别对现有的基于面部表情信息、文本信息和语音信息的单模态情感分析技术进行简要叙述 介绍了模态融合技术，并依据不同的模态融合方式对多模态情感分析技术的现有成果进行重点描述 讨论了多模态情感分析存在的问题以及未来的发展方向。 引言 在基于深
多模态情感识别（MER）数据集整理
NLH_tutu的博客
05-29 2661
论文：IEMOCAP: Interactive emotional dyadic motion capture database 作者：Carlos Busso, Murtaza Bulut, Chi-Chun Lee, Abe Kazemzadeh, Emily Mower, Samuel Kim, Jeannette N. Chang, Sungbok Lee and Shrikanth S. Narayanan 实验室：Speech Analysis and Interpretation Labo
多模态情感分析早期融合——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
小嘤熊的博客
01-05 3206
在第一种，负类的标注范围为[-3,0)，而非负类的标注范围为[0,3]。情绪标注是包含高兴，悲伤，生气，恐惧，厌恶，惊讶六个方面的情绪标注。在AEFT方法中，同样使用使用三个编码器（encoders），并使用Transformer和MLP模型构建了头部，并使用直接拼接的方法进行融合。在AEF方法中，使用三个编码器（encoders），然后使用GRU和MLP模型构建了头部（head），并使用直接拼接的方法进行融合。模态有3种（语言，视觉，声音），数据集使用的是已对齐原始raw数据特征。
多模态情感分析——Twitter15和Twitter17数据集
小嘤熊的博客
11-06 7415
将原始的train、dev、test合并到一起，共计5338条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了10676个图文对，以及一个train.txt用来保存文件名和标签。将原始的train、dev、test合并到一起，共计5972条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了11944个图文对，以及一个train.txt用来保存文件名和标签。（2）第二列是情感标签（0表示负面，1表示中性，2表示正面）；（1）第一列是索引；
多模态情感分析——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
热门推荐
小嘤熊的博客
01-05 1万+
而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。首先，采用早融合策略 将各模态特征进行拼接，然后将拼接的特征输入分类器中，并且每个模态的特征也单独输入 分类器中，最终得到所有组合的分类结果，并将所有分类结果进行晚融合策略。提出了一种新的模型Tensor Fusion Network（张量融合网络，TFN），TFN能够端到端地学习模态内和模态间的动态，采用一种新的多模态融合方法（张量融合）对模态间动态进行建模，模态内动态则通过三个模态嵌入子网络进行建模。
多模态情感分析：理解人类情感的更深层次
AI天才研究院
12-31 2295
1.背景介绍 情感分析，也被称为情感检测或情感识别，是一种自然语言处理任务，旨在识别和分析文本或语音中的情感信息。随着人工智能技术的发展，情感分析已经成为一种广泛应用于社交媒体、电商、广告、医疗等领域的工具。然而，传统的情感分析方法主要关注文本或语音中的情感信息，而忽略了其他模态，如图像、视频等。为了更全面地理解人类情感，我们需要开发多模态情感分析技术，将多种模态信息融合，以获取更深层次的情感信...
多模态情感分析
weixin_40875443的博客
05-12 2386
多模态分析数据集（Multimodal Dataset） 不只情感分析 《Multi-task Learning for Multi-modal Emotion Recognition and Sentiment Analysis》 阅读笔记
读文章笔记（八）：多模态情感分析数据集整理
Wangzx的博客
04-29 4734
读文章笔记（八）：多模态情感分析数据集（Multimodal Dataset）整理双模态（一般是文本、图像和语音的两两组合）三模态（一般是文本、图像加语音） 作者：骑着白马的王子 地址：https://www.zhihu.com/people/pi-pi-57-67 公众号：人工智能前沿讲习https://mp.weixin.qq.com/s/rWRJ8taUsIQAZFq3PD1-ng 双模态（一般是文本、图像和语音的两两组合） 1.《Multi-Modal Sarcasm Detection in Tw
MultiModalSA:CMU-MOSEI的多模态情感分析架构
04-13
多模态 CMU-MOSEI的多模态情感分析体系结构。 描述 该信息库包含四种多模式体系结构以及用于CMU-MOSEI的情感分析的相关培训和测试功能。 在数据文件夹中，提供了转录和标签，以用于的标准培训，验证和测试语句。 可以通过以下链接下载BERT嵌入（文本模式），COVAREP功能（音频模式）和FACET功能（视频模式）： BERT嵌入： ：//drive.google.com/file/d/13y2xoO1YlDrJ4Be2X6kjtMzfRBs7tBRg/view？usp COVAREP： ://drive.google.com/file/d/1XpRN8xoEMKxubBHaNyEivgRbnVY2iazu/view usp sharing 脸部表情： ：//drive.google.com/file/d/1BSjMfKm7FQM8n3HHG5Gn9-dTifULC
情感分析数据集
12-26
数据集包括书评、影评、商品评价、excel格式的数据格式
情感分析数据集（正面10000条，负面5000条）
07-17
吸收了 谭松波 非平衡酒店评论语料库（7000条正面，3000条负面，有部分重复数据），加上我从携程上抓取的数据，经过繁简转换、去重、去掉4字以下过短评论，形成最终的评论数据集（10000条正面，5000条负面，文本中每行为一个评论），欢迎下载使用！ps.数据正负面归类是按照携程上“值得推介”和“有待改善”栏目做初步区分，然后再经过人工筛选剔除归类错误的数据形成，因此难免会有错误，欢迎修正！358473546@qq.com
多模态情感分析——基于交叉多头注意力CMA进行图文多模态融合（含MVSA数据集）
小嘤熊的博客
06-30 2839
由两个独立的数据集组成，分别是MVSA-Single数据集和 MVSA-Multi数据集，前者的每条图文对只有一个标注，后者的每条图文对由三个标注者给出。删除 MVSA-Single 数据集中图片和文字标注情感的正负极性不同（存在positive和negative）的图文对，剩余的图文对中，如果图片或者文本的情感有一者为中性（neutral），则选择另一个积极或者消极的标签作为该图文对的情感标签，最终得到4511个图文对。图像处理模块采用预训练的ResNet系列模型，提取图像特征，并进行特征变换。
Hyperspectral Unmixing论文泛读（一）
陌若安生的博客
11-12 3271
JMnet: Joint Metric Neural Network for Hyperspectral Unmixing Abstract 现有的基于学习的高光谱解混方法一般采用自编码器的形式，以几何距离，如光谱角距离(SAD)作为损失函数。这些方法①忽略了观测值与重构值之间的分布相似性，有助于提高解混性能。同时，直接比较观测值和重构值的差异，②忽略了它们之间的特征差异，从而训练了自编码。基于上述考虑，我们提出了一种联合度量神经网络用于高光谱分解，引入①Wasserstein距离和②特征匹配作为正则化项，
最全多模态情感分析数据集(12-02已更新）
u011559552的博客
11-05 5885
多模态情感分析是自然语言处理领域的一个重要研究方向，它通过分析和融合文本、语音、图像等多种模态的数据来识别和分析情感信息。这种分析方法能够更全面地理解人类情感，因为不同模态信息可以捕捉到不同层面的情感信息。随着深度学习技术的发展，多模态情感分析在情感预测和情绪识别方面显示出巨大的潜力和应用价值。
MVSA数据集模型训练
最新发布
03-17
### 使用MVSA数据集进行模型训练 MVSA（Multi-View Sentiment Analysis）数据集是一个多视角情感分析的数据集，通常用于研究图像和文本之间的关联以及它们共同表达的情感。以下是基于提供的引用内容和其他专业知识构建的一个完整的解决方案。 #### 数据准备 在使用MVSA数据集之前，需要完成以下准备工作： 1. 下载并解压MVSA数据集文件。 2. 将其划分为训练集、验证集和测试集。 3. 对图像和文本分别进行预处理操作。 对于图像部分可以采用标准的图像增强技术；而对于文本，则可以通过分词器将其转换成向量表示形式[^1]。 ```python import os from sklearn.model_selection import train_test_split from torchvision.transforms import Compose, Resize, ToTensor from transformers import BertTokenizer def prepare_data(data_dir): images = [] texts = [] tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') transform = Compose([Resize((224, 224)), ToTensor()]) for file_name in os.listdir(os.path.join(data_dir, 'images')): image_path = os.path.join(data_dir, 'images', file_name) text_file = open(os.path.join(data_dir, 'texts', f"{file_name.split('.')[0]}.txt"), encoding='utf8').read() encoded_text = tokenizer.encode_plus( text_file, add_special_tokens=True, max_length=512, padding='max_length', truncation=True, return_attention_mask=True, return_tensors="pt" ) images.append(transform(Image.open(image_path))) texts.append(encoded_text['input_ids']) X_train_img, X_val_img, y_train_txt, y_val_txt = train_test_split(images, texts, test_size=0.2, random_state=42) return (X_train_img, y_train_txt), (X_val_img, y_val_txt) data_directory = './mvsa_dataset' train_data, val_data = prepare_data(data_directory) ``` #### 构建多模态模型架构 这里推荐一种融合BERT与ResNet特征提取器的方法来创建一个多模态学习框架[^3]： ```python import torch.nn as nn from torchvision.models import resnet50 from transformers import BertModel class MultimodalSentimentAnalysis(nn.Module): def __init__(self): super(MultimodalSentimentAnalysis, self).__init__() self.resnet = resnet50(pretrained=True) self.bert = BertModel.from_pretrained('bert-base-uncased') self.fc_image = nn.Linear(1000, 768) self.classifier = nn.Sequential( nn.Dropout(p=0.1), nn.Linear(768 * 2, 256), nn.ReLU(), nn.Linear(256, 3) # Assuming three sentiment classes: positive, neutral, negative. ) def forward(self, img_inputs, txt_inputs, attention_masks=None): features_images = self.resnet(img_inputs) pooled_output_texts = self.bert(txt_inputs.squeeze(dim=1), attention_mask=attention_masks).pooler_output combined_features = torch.cat((features_images.view(-1, 1000), pooled_output_texts), dim=-1) output = self.classifier(combined_features) return output model = MultimodalSentimentAnalysis().cuda() if torch.cuda.is_available() else MultimodalSentimentAnalysis() ``` #### 训练过程配置 定义损失函数、优化器以及其他必要的超参数设置，并执行实际的训练循环[^4]: ```python criterion = nn.CrossEntropyLoss() optimizer = optim.Adam(model.parameters(), lr=1e-5) for epoch in range(num_epochs): # Loop over the dataset multiple times running_loss = 0.0 model.train() for imgs, txts in dataloader: optimizer.zero_grad() outputs = model(imgs.cuda(), txts.cuda()) loss = criterion(outputs, labels.cuda()) loss.backward() optimizer.step() running_loss += loss.item() ``` ---
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MatpyMaster

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值