多模态情感识别（MER）数据集整理

原创 已于 2022-07-01 10:30:54 修改 · 3k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

于 2022-05-29 22:12:17 首次发布
IEMOCAP 是一个多模态情感数据库，包含约12小时的视听数据，涉及视频、语音、面部表情等。该数据库通过演员的即兴创作或剧本表演收集，旨在促进多模态情感交流的研究。

一、IEMOCAP（下载链接:IEMOCAP）

交互式情感二元运动捕捉（IEMOCAP）数据库是一个行动，多模态和多扬声器数据库，最近在南加州大学的SAIL实验室收集。它包含大约12小时的视听数据，包括视频，语音，面部动作捕捉，文本转录。它由二元会议组成，演员在其中表演即兴创作或脚本场景，专门选择以引发情感表达。IEMOCAP数据库由多个注释器注释为分类标签，例如愤怒，快乐，悲伤，中立性，以及维度标签，例如价，激活和支配。详细的动作捕捉信息，引发真实情感的交互式设置以及数据库的大小使该语料库成为社区中现有数据库的宝贵补充，用于研究和建模多模态和富有表现力的人类交流。

论文链接：论文翻译版

下载方式：官网下载，但需要发邮件申请 ，我整理到了百度网盘中提取码love，大家可自行下载。

最低0.47元/天 解锁文章
IEMOCAP-数据集文件预处理
曹同学的博客
11-29 9086
import os import glob import wave import python_speech_features as ps import numpy as np import pickle def read_wavefile(filename): #开始读取wav文件 file = wave.open(filename,'r') params = file.getparams() #获取得到的所有参数 n_channels, samp_with, fram_r
【NLP】文献翻译4——CH-SIMS：中文多模态情感分析数据集与细粒度的模态注释
YoungSeng's Blog
04-17 1万+
CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality摘要1. 介绍2. 相关工作2.1 多模态数据集2.2 多模态情感分析2.3 多任务学习3. CH-SIMS 数据集3.1 数据获取3.2 标注3.3 特征提取4. 多模式多任务学习框架4.1 单模态子网4.2 特征融合网络4.3 优化目标5. 实验5.1 基准5.2 实验的细节5.3 结果和讨论5.3.1 与
语音情感识别实战：SpeechBrain在IEMOCAP数据集上的应用
最新发布
gitblog_00593的博客
09-25 621
你是否还在为语音情感识别模型的高复杂度而困扰？是否想快速构建一个准确率达78.7%的情感识别系统？本文将带你使用SpeechBrain工具包，基于IEMOCAP数据集实现语音情感识别，无需深厚的语音处理背景，只需简单几步即可完成从数据准备到模型训练的全流程。 读完本文后，你将能够： - 理解IEMOCAP数据集的结构和情感标注方式 - 使用SpeechBrain提供的工具预处理语音情感数据 - ...
情感数据集集合IEOCAP
08-12
情感数据集集合IEOCAP
KNN GMM语音情感识别（IEMOCAP）
曹同学的博客
04-12 4617
def GMM(): data_mfcc,data_label = IEMPCAP_dataset.ge_dataset() print(len(data_mfcc),":",len(data_label)) # GMM模型 K = 4 gmm = GMM(data_mfcc,K) gmm.GMM_EM() y_pre = gmm.prediction print("GMM预测结果：\n",y_pre) print("GMM正确率为：\
多模态情感分析——MVSA数据集
小嘤熊的博客
11-06 6442
删除 MVSA-Single 数据集中图片和文字标注情感的正负极性不同（存在positive和negative）的图文对，剩余的图文对中，如果图片或者文本的情感有一者为中性（neutral），则选择另一个积极或者消极的标签作为该图文对的情感标签，最终得到4511个图文对。采用投票机制，即统计情感极性标注出现次数最多的作为标签，如果出现两种标签各有三个的情况则进行删除，最终得到16779个图文对。，前者的每条图文对只有一个标注，后者的每条图文对由三个标注者给出。数据集包含 5,129 条图文对（
读文章笔记（八）：多模态情感分析数据集整理
Wangzx的博客
04-29 5089
读文章笔记（八）：多模态情感分析数据集（Multimodal Dataset）整理双模态（一般是文本、图像和语音的两两组合）三模态（一般是文本、图像加语音） 作者：骑着白马的王子 地址：https://www.zhihu.com/people/pi-pi-57-67 公众号：人工智能前沿讲习https://mp.weixin.qq.com/s/rWRJ8taUsIQAZFq3PD1-ng 双模态（一般是文本、图像和语音的两两组合） 1.《Multi-Modal Sarcasm Detection in Tw
多模态情感识别数据集和模型(下载地址+最新综述2021.8)
热门推荐
qq_44722174的博客
09-01 3万+
引用论文：Zhao, Sicheng, et al. “Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies.” arXiv preprint arXiv:2108.10152 (2021). PDF链接：Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies. 新鲜出炉的赵思成和杨巨峰大佬的论文哦（情感识别领域
多模态情感识别数据集
03-18
### 多模态情感识别数据集概述 多模态情感识别（MER, Multimodal Emotion Recognition）是一个跨学科领域，涉及语音、图像、文本等多种模式的情感分析。为了支持这一领域的研究，多个公开可用的数据集被开发并发布...
EMER：一个全新的视角来看待多模态情感识别问题
u011559552的博客
09-26 2885
2024-07-10，由中国科学院自动化研究所、清华大学自动化系所联合创建EMER，这个任务目的通过提供预测情感的详细解释来提高情感识别的可靠性和准确性。
多模态机器学习（语音情感识别）面临的挑战
weixin_48985409的博客
08-19 3932
大多数多模态数据通常是未对齐的，我们更愿意探索如何使用神经网络来对齐不同的模态数据，以及如何使用预先训练的模型来从未对齐的多模态数据学习更好的表示。对于基于模型的融合，除了基于核的融合，其他的都能用于时序建模，如基于图融合的隐马尔可夫模型（HMM）和条件随机场（CRF），以及基于神经网络融合的RNN 和LSTM 网络。由于晚期融合抑制了模态之间的交互, 目前大部分基于深度学习的模型均使用早期（特征融合）或者中期融合（决策融合）每个模态在不同的时间点可能表现出不同类型和不同程度的噪声。（2）基于模型的融合。
IEMOCAP数据集：“交互式情感二元运动捕捉数据库”（IEMOCAP）
07-26
“交互式情感二元运动捕捉数据库”（IEMOCAP），由南加州大学（USC）语音分析和口译实验室（SAIL）收集。该数据库是从脸、头和手上带有标记的二元会话中的十名演员记录的，这些标记提供了关于他们在脚本和自发口语交流场景中的面部表情和手部动作的详细信息。演员们表演了选定的情感脚本，还即兴创作了假设场景，旨在激发特定类型的情感（幸福、愤怒、悲伤、沮丧和中性状态）。语料库包含大约12小时的数据。详细的运动捕捉信息、引发真实情感的交互设置以及数据库的大小使该语料库成为社区现有数据库的一个有价值的补充，用于研究和建模多模式和表达性的人类交流。
多模态情感分析——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
小嘤熊的博客
01-05 1万+
而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。首先，采用早融合策略 将各模态特征进行拼接，然后将拼接的特征输入分类器中，并且每个模态的特征也单独输入 分类器中，最终得到所有组合的分类结果，并将所有分类结果进行晚融合策略。提出了一种新的模型Tensor Fusion Network（张量融合网络，TFN），TFN能够端到端地学习模态内和模态间的动态，采用一种新的多模态融合方法（张量融合）对模态间动态进行建模，模态内动态则通过三个模态嵌入子网络进行建模。
多模态情绪识别的野外数据集评估
m0_60813772的博客
05-07 3281
多模态情感识别意味着使用不同的资源和技术来识别和识别人类的情感。各种数据源，如人脸，语音，语音，文本和其他必须同时处理这个识别任务。然而，大多数主要基于深度学习的技术都是使用在受控条件下设计和构建的数据集进行训练的，这使得它们在具有真实的条件的真实的上下文中的适用性更加困难。出于这个原因，这项工作的目的是评估一组野外数据集，以显示它们在多模态情感识别方面的优势和劣势。评估了四个野外数据集：AFEW，SFEW，MELD和AffWild2。
多模态情感分析——Twitter15和Twitter17数据集
小嘤熊的博客
11-06 9500
将原始的train、dev、test合并到一起，共计5338条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了10676个图文对，以及一个train.txt用来保存文件名和标签。将原始的train、dev、test合并到一起，共计5972条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了11944个图文对，以及一个train.txt用来保存文件名和标签。（2）第二列是情感标签（0表示负面，1表示中性，2表示正面）；（1）第一列是索引；
最全多模态情感分析数据集(12-02已更新）
u011559552的博客
11-05 8509
多模态情感分析是自然语言处理领域的一个重要研究方向，它通过分析和融合文本、语音、图像等多种模态的数据来识别和分析情感信息。这种分析方法能够更全面地理解人类情感，因为不同模态信息可以捕捉到不同层面的情感信息。随着深度学习技术的发展，多模态情感分析在情感预测和情绪识别方面显示出巨大的潜力和应用价值。
【亲测免费】 多模态情感识别（MER）数据集整理
gitblog_06526的博客
10-31 673
多模态情感识别（MER）数据集整理 【下载地址】多模态情感识别MER数据集整理分享 多模态情感识别（MER）数据集是一个综合性的数据集，包含了多种模态的数据，如视频、语音、面部动作捕捉和文本转录等。这些数据由多个注释者进行分类和维度标签的注释，适用于研究和建模多模态和富有表现力的人类交流 ...
多模态情感分析早期融合——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
小嘤熊的博客
01-05 4181
在第一种，负类的标注范围为[-3,0)，而非负类的标注范围为[0,3]。情绪标注是包含高兴，悲伤，生气，恐惧，厌恶，惊讶六个方面的情绪标注。在AEFT方法中，同样使用使用三个编码器（encoders），并使用Transformer和MLP模型构建了头部，并使用直接拼接的方法进行融合。在AEF方法中，使用三个编码器（encoders），然后使用GRU和MLP模型构建了头部（head），并使用直接拼接的方法进行融合。模态有3种（语言，视觉，声音），数据集使用的是已对齐原始raw数据特征。
数据集 | 基于语音（Speech）/多模态（Multimodal）的情绪识别数据集，格式及下载
weixin_44649780的博客
05-12 1万+
RAVDESS 包含 24 名专业演员（12 名女性，12 名男性），用中性的北美口音说出两个词汇匹配的陈述。文件名由 7 部分数字标识符组成（例如，03-01-06-01-02-01-12.wav）。情绪（01 = 中性，02 = 平静，03 = 快乐，04 = 悲伤，05 = 愤怒，06 = 恐惧，07 = 厌恶，08 = 惊讶）。情绪强度（01 = 正常，02 = 强烈）。模态（01 = 全 AV，02 = 仅视频，03 = 仅音频）。文件名示例：03-01-06-01-02-01-12.wav。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值