MULTI-QUERY MULTI-HEAD ATTENTION POOLING AND INTER-TOPK PENALTY FOR SPEAKER VERIFICATION
用于说话人验证的多查询多头注意力池和 Inter-TOPK 惩罚
Miao Zhao1, Yufeng Ma1, Yiwei Ding1;2, Yu Zheng1, Min Liu1, Minqiang Xu1【若翻译侵权或者其他利益,请联系删除,本文只用于学术学习笔记记录】
摘要
本文描述了我们在2021提交的VoxCeleb说话人识别挑战(VoxSRC)系统描述中首次提出的多查询多头注意力池(MQMHA)和topK间惩罚方法。大多数多头注意池机制要么通过多个头部关注整个特征,要么关注整个特征的几个分割部分。我们提出的MQMHA结合了这两种机制,并获得了更加多样化的信息。通常采用基于余量的软最大损失函数来获得有区别的说话人表示。为了进一步增强类间可辨别性,我们提出了一种方法,在一些混淆的说话者上增加额外的类间topK惩罚。通过采用MQMHA和inter-topK惩罚,我们在所有公共VoxCeleb测试集上实现了最先进的性能。