【论文笔记】基于多分类器和对抗语料判别器的多语料库语音情感识别

Reconciliation of Multiple Corpora for Speech Emotion Recognition by Multiple Classifiers with an Adversarial Corpus Discriminator

INTERSPEECH 2020 - Fairy Devices, Japan

关键词： 语音情感、多任务学习、对抗学习、多语料库

---

摘要

概述： 利用多任务学习和对抗学习压缩语料库特有因素以更好利用语料库，本篇文章研究的是训练数据的生成问题，也是一个新的思路
情感计算中主要的问题就是语料库的评价指标不一致，之前大多数研究的做法都是抛弃或者合并一些情感，但是会造成数据损失，再者语料库本身的许多特质也造成不能充分利用整个语料库。本文提出一个共享情感编码器，多个分类器和对抗语料库判别器，采用多任务学习和对抗学习训练。

---

简介

• SER中使用很多神经网络模型
• 虽然标签一样，但是跨语料库的情感表达是不一样的，不同语料库之间的情感定义也是不同的，我们需要消除他们之间的差异而不受单个语料库自身因素（语言、录音环境等）的限制
• 之前的相关研究有的丢弃非共同标签的数据，或者合并为公共标签；或者用对抗学习合并域，这些方法改变了情感表达的边界或者抛弃了一些类别，导致大量的信息损失；直接使用多分类器，每个分类器对应一个语料库，但是没有消除语料库本身因素的影响

---

方法

模型结构

语料库之间共享一个编码器，输入的语音特征被映射到嵌入空间，无论数据来自哪个数据库。每个语料库都对应一个分类器，这是为了保证不丢弃或者合并语料库中的情绪。除此之外还有一个对语料库标签的判别器。
只用多分类器，就无法消除语料库自身因素的影响，不同语料库的数据在特征空间的距离较远；只用对抗学习，只有但分类器的话，分类结果只有积极和消极两个，情感的内部信息就会丢失，所以将两者进行结合。

对抗学习

总损失函数的定义：
$$\mathcal{L}$$