利用:Cycle consistent adversarial networks (CycleGAN)
目的:addressing the data scarcity problem in speech emotion recognition
(1)在 CycleGAN的基础上从大型的unlabeled 语音数据库 迁移特征 到合成的特征表示。
(2)扩展了 CycleGAN:用分类loss which improves the discriminability of the generated data
实验
生成的数据有两种使用方法:
(1)直接augmentation到训练数据中
(2)作为独立的training set
结果在within-corpus and cross-corpus均表现很好
Introduction就介绍了全文的目的。生成目标类别的数据,使得总体数据的比例是可控制的。同时在总量上也扩充,得到一个a large and balanced synthetic dataset.
第二,三段介绍了GAN在speech方面的应用。
贡献
(1)合成的是feature vectors
(2)基于cycle GAN既保证了(1)的相似性又保证了可区分性。
(3)基于真实数据和合成数据的NN分类器表现优于传统的只用real data的。
method
有标签的数据库X
N类情感
a source domain S :外部的无标签dataset
Ti : samples of emotion i in the labeled dataset X.
两个mapping functions: G i G_i Gi translate from source到target, F i F_i