【论文笔记】基于多分类器和对抗语料判别器的多语料库语音情感识别

Reconciliation of Multiple Corpora for Speech Emotion Recognition by Multiple Classifiers with an Adversarial Corpus Discriminator

INTERSPEECH 2020 - Fairy Devices, Japan

关键词： 语音情感、多任务学习、对抗学习、多语料库

---

摘要

概述： 利用多任务学习和对抗学习压缩语料库特有因素以更好利用语料库，本篇文章研究的是训练数据的生成问题，也是一个新的思路
情感计算中主要的问题就是语料库的评价指标不一致，之前大多数研究的做法都是抛弃或者合并一些情感，但是会造成数据损失，再者语料库本身的许多特质也造成不能充分利用整个语料库。本文提出一个共享情感编码器，多个分类器和对抗语料库判别器，采用多任务学习和对抗学习训练。

---

简介

• SER中使用很多神经网络模型
• 虽然标签一样，但是跨语料库的情感表达是不一样的，不同语料库之间的情感定义也是不同的，我们需要消除他们之间的差异而不受单个语料库自身因素（语言、录音环境等）的限制
• 之前的相关研究有的丢弃非共同标签的数据，或者合并为公共标签；或者用对抗学习合并域，这些方法改变了情感表达的边界或者抛弃了一些类别，导致大量的信息损失；直接使用多分类器，每个分类器对应一个语料库，但是没有消除语料库本身因素的影响

---

方法

模型结构

语料库之间共享一个编码器，输入的语音特征被映射到嵌入空间，无论数据来自哪个数据库。每个语料库都对应一个分类器，这是为了保证不丢弃或者合并语料库中的情绪。除此之外还有一个对语料库标签的判别器。
只用多分类器，就无法消除语料库自身因素的影响，不同语料库的数据在特征空间的距离较远；只用对抗学习，只有但分类器的话，分类结果只有积极和消极两个，情感的内部信息就会丢失，所以将两者进行结合。

对抗学习

总损失函数的定义：
$$\mathcal{L}={\mathcal{L}}_{emo}+{\mathcal{L}}_{cor}$$
多任务学习损失函数：
$${\mathcal{L}}_{emo}=\sum _{i=1}^N{\mathcal{L}}_{emo}^{(i)}$$
对抗学习损失函数：
$${\mathcal{L}}_{adv}=-{\mathcal{L}}_{cor}$$
两个部分学习率不同，首先更新分类器和编码器使得多任务损失最小；然后更新对抗学习部分，这时编码器参数固定；最后固定对抗学习部分，通过对抗loss更新编码器使其减少语料库间的相关因素，也就是让模型分不清这些特征来自于哪个语料库。

---

实验

特征和模型细节

将所有语段分割为长3s，位移1s的片段，必要时用0填补，标签是该片段所在语段的标签。采用log梅尔声谱作为输入特征，并且采用-score归一化。
编码器采用的是ACRNN（Attention-Based Convelutional Reccurent Neural Network），因为在SER中其效果较佳。对抗网络部分和分类器均采用三层128cells的全连接，后接一个softmax层。ACRNN模型具体结构：

语料库

EmoDB和CREMA-D，EMO-DB为德语，包含535条语音，7类情感；CREMA-D有6类情感。

实验设置

我们有单语料库模型、多情感分类模型和带语料库判别器的多情感分类模型。单语料库模型只有一个情感分类器而且在一个语料库训练；多情感分类模型有两个分类器；最后一个模型加上了判别器。实验采用LOSO十折交叉验证，用WA和UA作为指标。这里交叉验证方法解释的很清楚。

结果

从UA和WA的结果可以看出，提出模型的效果优于其它两个模型；还可以看出，多分类器结果优于单分类器；数据少的EMO-DB提升比CREMA-D还大，说明多分类器在语料很少情况下也表现得很好。

通过绘制混淆图，我们把一个样本被分类为语料库的后验概率小于0.8称为语料库模糊样本，否则为语料库明晰样本。对EMODB来说，disgust是混淆的，容易被CREMA-D分类器分类为anger。相反，对CREMA-D来说最容易混淆，易被EMODB分类器分类为anger或者disgust。可能两个语料库的anger和disgust很相似，说明两语料库有重叠部分。

用UMAP可视化特征映射空间，说明对抗学习使得两个数据库在特征空间距离更近了。说明与特征相关的实验，采用这种可视化比较直观

---

问题

1. 是否能用聚类？有没有类似的文章？
2. 就用两个语料库是不是太少了？真正要实用是不是还需要更多语料库的支持？有考虑过算力的问题吗？
3. 没有说怎么得到混淆图的