说话人确认中的大规模自监督语音表示学习

LARGE-SCALE SELF-SUPERVISED SPEECH REPRESENTATION LEARNING FOR AUTOMATIC SPEAKER VERIFICATION

摘要

1. 基于大规模无标签数据的语音表示学习比监督学习泛化能力更强；

2. 本文探索了不同自监督目的下和不同数据集下语音表示学习的一些限制，特别是针对ECAPA-TDNN；

3. 将从预训练模型得到的隐层经过可训练权重变换，之后输入到ECAPA作为输入特征；

4. 实验结果表示，在Voxceleb上，预训练变换后的权重性能远优于FBank；

5. 单个模型在VoxCeleb1上EER：0.537%、0.569%、1.18%；三个预训练集合在Vox1上 0.479%、0.536、1.023%

Index Terms：表示学习、自监督、预训练