A Speech Emotion Recognition Framework for Better Discrimination of Confusions-语音论文阅读

最新推荐文章于 2024-05-26 09:45:40 发布
最新推荐文章于 2024-05-26 09:45:40 发布
阅读量282 收藏
点赞数 2
分类专栏： 论文 文章标签： 深度学习 人工智能 机器学习 语音识别 情感识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/crh170/article/details/120361148
版权
本文介绍了一种用于改进情绪识别中混淆问题的框架。该框架通过使用triplet loss和数据增强技术来提升模型对于相似情绪标签的区分能力。实验结果显示，此方法有效改善了happy和neutral标签之间的混淆。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章结构

文章介绍

  1. 论文名字 A Speech Emotion Recognition Framework for Better Discrimination of Confusions来自interspeech_2021
  2. 作者 Jiawang Liu, Haoxiang Wang
  3. 论文背景 当前许多的研究中，比较常见的问题是一些特定的情绪被严重错误分类，从数据集IEMOCAP数据集中给出的混淆矩阵中可以知道，普遍的一个问题是 大多数的happy标签的话语被误分类为中性，这种情况 作者认为是由于neutral和happy两个标签的激活水平比较相似，而导致模型不能够区分出来，一般而言，在数据量多的情况下，预测的标签一般都是会向数量级多的量进行偏移，这就是作者设计这个基础的来源
  4. 相关论文来源，比如triplet loss 和triplet selection 是来自这篇CV方向的论文FaceNet: A Unified Embedding for Face Recognition and Clustering，data augmentation 部分的论文来自于interspeech_2019SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition,而主体架构CNN-LSTM架构是参考自Efficient Emotion Recognition from Speech Using Deep Learning on
    Spectrograms

结构分析

  • 系统结构图

在这里插入图片描述
在这里插入图片描述

  • 虽然说这个系统结构里面的文献也给出了 可以自己看看里面的结构情况，但是有的方面还是不能让人那么理解，整个系统流程是
    1、将整个数据集的语音分成三个组块儿（triplet模式），
    2、Data Augmentation 比如时间偏移（将对数mel谱图在图像的时间步长（W,t-W）上随机一个点选择一个点随机像左边或者是右边移动）；频率遮蔽（在连续的mel频率通道上将一部分进行评比）；时间遮蔽（同理），在我的理解上 认为就是横轴和竖轴进行随机的一个区间直接进行掩蔽掉
    3、将1通道的图像输入的CNN里面，一共四个CNN 每个CNN都有一个batch normalization 在这里插入图片描述
    4、输出的结果开始输入到双向的LSTM（BI-LSTM）
    5、接着直接进入到不同的triplet选择中分别有两种，第一种是semi-
    hard triplets
    在这里插入图片描述
    第二种是 hard triplets
    在这里插入图片描述
    这两种其实是进行分别计算loss的
    6、直接开始进入全连接层进行计算，两种loss分别进行损失函数计算，Adam进行优化器优化
    7、最后直接进行判断结果了
    在这里插入图片描述

实验结果

  • 未使用triplet loss后的结果
    在这里插入图片描述
  • 使用triplet loss后的结果
    在这里插入图片描述
  • 具体每次增加的方法进行实验结果对比
    在这里插入图片描述

总结讨论

这篇论文里从前人的文章里总结出了大体的架构即CNN-LSTM，然后利用数据增强和triplet的方法进行处理，在方法上能够让我知道，数据的预处理对应着结果可能有着重要的影响，利用GAN生成对抗式网络来进行另一种方法来进行数据的混淆，可能是使得数据特征变得更加清晰，这也是作者最后阐述的一些相关想法

Speech Emotion Recognition Using Capsule Networks(基于胶囊网络的语音情感识别)
yin_fei_0825的博客
04-07 2451
Speech Emotion Recognition Using Capsule NetworksabstractIntrodution论文主要内容框架解读Experiment数据集评价指标实验过程参数设置实验结果 abstract 语音情感识（SER）别是人机交互当中比较关键和重要的研究领域。然而在SER领域中，提取用来作为分类的语音中话语水平特征是一个挑战性问题。近年来通过语谱图的作为语音特征...
基于深度学习的的语音情感识别（Speech Emotion Recognition）
weixin_42380711的博客
08-24 3062
言语是表达我们作为人类最自然的方式。因此，将这种通信媒介扩展到计算机应用程序是很自然的。我们将语音情感识别 （SER） 系统定义为一组方法，用于处理和分类语音信号以检测嵌入的情绪。SER 并不是一个新领域，它已经存在了二十多年，并且由于最近的进步而重新受到关注。这些新颖的研究利用了计算和技术所有领域的进步，因此有必要更新使 SER 成为可能的当前方法和技术。
Speech_Emotion_Recognition
02-12
Speech_Emotion_Recognition
Speech-Emotion-Recognition:语音情感识别
04-02
言语情感识别 麦克风的语音情感识别。 需求安装： 在命令提示符下移动到项目的根文件夹。 运行followig命令：$ pip install -r requirements.txt 将安装所有项目所需的库。 正在运行的项目： 在命令提示符下移动到项目的根文件夹。 运行followig命令：1. python manage.py makemigrations 2. python manage.py migration 3. python manage.py createsuperuser 4. python manage.py runserver 打开浏览器并运行服务器地址。 笔记： 可以通过移动到/ admin地址在浏览器上完成数据库访问。 服务器应在启用了麦克风的计算机上运行，​​因为使用服务器计算机的麦克风数据进行了预测。 当前模型是使用ravdess-data
论文阅读Hierarchical sparse coding framework for speech emotion recognition
边写边学习
05-24 692
Introduction   此文发表于Speech Communication，影响因子1.768，发表时间2018年   Speech emotion recognition 的 feature representation部分，通常有两种方法。 hand-crafted feature encoding，如AVEC。（不知道这是个什么） 自动学习feature   本文采用 ...
SER论文阅读：SPEECH EMOTION RECOGNITION WITH CO-ATTENTION BASED MULTI-LEVEL ACOUSTIC INFORMATION
MR_GUOnol的博客
10-05 1823
SPEECH EMOTION RECOGNITION WITH CO-ATTENTION BASED MULTI-LEVEL ACOUSTIC INFORMATION
SPEECH EMOTION RECOGNITION WITH CO-ATTENTION BASED MULTI-LEVEL ACOUSTIC INFORMATION.zip
02-02
SPEECH EMOTION RECOGNITION WITH CO-ATTENTION BASED MULTI-LEVEL ACOUSTIC INFORMATION.zip 文件提供了一个系统化、全面的研究资料集，对于相关领域的研究人员和实践者来说，是不可多得的研究材料和工具。
speech-emotion-recognition.rar_speech recognition_情感识别_脑训练_语音情感识
07-14
基于BP神经网络的语音情感识别系统 神经网络是近年来信息科学、脑科学、神经心理学等诸多学科共同关注和研究的热点。由于其具有良好的抽象分类特性,现已应用于语音识别系统的研究和开发,并成为解决识别相关问题的...
Multi-modal speech emotion recognition using self-attention mechanism and multi-scale fusion framwor
weixin_42103947的博客
10-19 2106
《基于自注意机制和多尺度融合框架的多模态语音情感识别》(Multi-modal speech emotion recognition using self-attention mechanism and multi-scale fusion framework)
语音情感识别（Speech Emotion Recognition）相关资料
少年龙龙的博客
06-14 3500
语音情感识别
Speech-Emotion-Recognition
04-02
语音情感识别要运行此功能，您需要：使用Pip安装程序安装以下软件包： 解放军 声音文件 麻木 斯克莱恩 pyaudio 麻巴 已经受过训练，您可以使用test.py来测试您的声音。 你可以： 在ser.py调整模型参数（或整个模型）。 在音频采样被转换为16000Hz采样率和单声道的情况下，将更多数据添加到data文件夹， convert_wavs.py做到这一点。 在AVAILABLE_EMOTIONS常量中编辑utils.py中指定的情绪。 修改任何内容后，您可以运行ser.py重新训练模型。
speech-emotion-recognition-exercise-master_speechrecognition_语音识
09-30
转载自其他地方的语音情感识别的部分代码，有需要情酌情下载
Speech-Emotion-Recognition:Speech emotion recognition implemented in Keras (LSTM, CNN, SVM, MLP) | 语音情感识别
05-04
Speech Emotion Recognition 用 LSTM、CNN、SVM、MLP 进行语音情感识别，Keras 实现。 改进了特征提取方式，识别准确率提高到了 80% 左右。原来的版本的存档在 。 | 中文文档   Environments Python 3.6.7 Keras 2.2.4   Structure ├── models/ // 模型实现 │   ├── common.py // 所有模型的基类 │   ├── dnn // 神经网络模型 │   │ ├── dnn.py // 所有神经网络模型的基类 │   │ ├── cnn.py // CNN │   │ └── lstm.py // LSTM │   └── ml.py
MevonAI-Speech-Emotion-Recognition:识别音频段中多个发言人的情绪
05-16
MevonAI-语音情感识别 识别音频段中多个发言人的情绪· 在这里尝试演示 目录 说话人二值化 特征提取 CNN模型 训练模型 贡献 执照 致谢 常问问题 关于该项目 该项目的主要目的是识别呼叫音频中多个说话者的情绪，作为呼叫中心客户满意度反馈的应用程序。 建于 的Python 3.6.9 Tensorflow-Keras 解放军 入门 按照以下说明在本地计算机上设置项目。 安装 创建一个python虚拟环境 sudo apt install python3-venv mkdir mevonAI cd mevonAI python3 -m venv mevon-env source mevon-env/bin/activate 克隆仓库 git clone https://github.com/SuyashMore/MevonAI-Speech-Emotion-Recog
Speech Emotion Recognition with Multi-task Learning(2021)
afanti_1的博客
07-17 2511
多任务学习模式下的语音情绪识别的研究(2021) Speech Emotion Recognition with Multi-task Learning(2021)
连续语音识别,continuous speech recognition,音标,读音,翻译,英文例句,英语词典
q6q6q的专栏
10-27 415
补充资料：汉语语音识别分类汉语语音识别分类classification of Chinese speech recognition一种方法是用一个经过良好训练的非特定人或上述特定分类的标准样板或模型，发音人发少量自适应训练句，对已存人的标准样板或模型参数进行修改，使之适应该特定人。hQnyU yuyin shibie fenlei汉语语音识别分类(d理洛incatkm of Chin已记s碑搜h ...
使用GitCode上的`speech-emotion-recognition`进行情感识别：技术解析与应用指南
gitblog_00029的博客
04-24 407
使用GitCode上的speech-emotion-recognition进行情感识别：技术解析与应用指南 去发现同类优质开源项目:https://gitcode.com/ 在这个数字化的时代，语音情感识别技术正逐渐改变我们与机器交互的方式。为我们提供了一个强大的工具，用于分析和理解人类在讲话时的情感状态。本文将深入探讨该项目的技术细节、应用场景以及其独特特点，以鼓励更多的开发者和研究者参与其中。...
语音情感识别探讨
JOHZEN
09-05 9899
El Ayadi M, Kamel M S, Karray F. Survey on speech emotion recognition: Features, classification schemes, and databases[J]. Pattern Recognition, 2011, 44(3): 572-587. 简介 语音识别的发展可以说是非常成熟，但距离我们的目...
使用双向LSTM进行语音情感识别的强力工具——Speech_emotion_recognition_BLSTM
gitblog_00066的博客
05-26 519
使用双向LSTM进行语音情感识别的强力工具——Speech_emotion_recognition_BLSTM Speech_emotion_recognition_BLSTMBidirectional LSTM network for speech emotion recognition.项目地址:https://gitcode.com/gh_mirrors/sp/Speech_emotion...
SDTF-Net: Static and dynamic time–frequency network for Speech Emotion Recognition
最新发布
03-24
### SDTF-Net 的架构及其在语音情感识别中的应用 #### 1. **SDTF-Net 网络架构概述** SDTF-Net 是一种静态和动态时间频率网络（Static and Dynamic Time-Frequency Network），专门设计用于处理语音信号的时间频率特性。该网络的核心思想在于结合静态特征与动态特征，从而更全面地捕捉语音的情感信息。 静态特征主要指 MFCC 特征[^1]，这些特征能够反映语音的频谱分布情况；而动态特征则包括一阶差分和二阶差分，可以描述语音随时间变化的趋势。这两种特征被非线性融合后输入到层次化神经网络中，进一步提升模型的表现能力。 #### 2. **SDTF-Net 实现细节** SDTF-Net 的实现主要包括以下几个部分： - **特征提取层** 在这一阶段，原始语音信号经过预处理后分别提取出静态特征（MFCC）和动态特征（一阶差分、二阶差分）。随后，通过特定方法将两者进行非线性融合，形成综合特征向量。 - **多尺度卷积模块** 卷积操作广泛应用于时间频率域上的模式学习。为了更好地适应不同长度的情绪表达，SDTF-Net 设计了多尺度卷积核结构，允许模型在同一层捕获多种粒度的信息[^2]。 - **注意力机制引入** 考虑到情绪的关键帧可能仅占整个录音的一小部分，因此在网络内部嵌入了自注意力机制（Self-Attention Mechanism）。这种机制有助于突出重要时刻并抑制冗余背景噪声的影响[^5]。 - **全连接分类器** 经过上述各步处理后的高维表示最终送至全连接层完成类别预测任务。损失函数通常采用交叉熵形式指导参数更新过程直至收敛为止。 #### 3. **优势分析** 相比传统方法或者单一依赖某类特征的方法而言，SDTF-Net 展现出如下几方面优点： - 更加充分挖掘了语音数据潜在价值； - 对复杂场景下的鲁棒性强于单纯基于幅度谱的传统方案； - 利用了最新的深度学习组件如残差链接等改进基础框架性能边界达到新高度。 以下是 Python 中构建简单版本 SDTF-Net 的伪代码示例: ```python import tensorflow as tf from tensorflow.keras import layers, models def create_sdtf_net(input_shape=(None, None)): inputs = layers.Input(shape=input_shape) # Static Feature Extraction Layer mfcc_features = extract_mfcc(inputs) # Placeholder function # Dynamic Feature Extraction Layer delta_1st = calculate_first_order_difference(mfcc_features) delta_2nd = calculate_second_order_difference(delta_1st) combined_features = concatenate([mfcc_features, delta_1st, delta_2nd]) # Multi-Scale Convolution Block conv_block_output = multi_scale_conv(combined_features) # Self Attention Module attention_applied = apply_self_attention(conv_block_output) flatten_layer = layers.Flatten()(attention_applied) dense_out = layers.Dense(units=8, activation='softmax')(flatten_layer) model = models.Model(inputs=inputs, outputs=dense_out) return model model = create_sdtf_net() model.compile(optimizer='adam', loss='categorical_crossentropy') ``` --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值