用于说话人验证的多查询多头注意力池和 Inter-TOPK 惩罚

MULTI-QUERY MULTI-HEAD ATTENTION POOLING AND INTER-TOPK PENALTY FOR SPEAKER VERIFICATION

用于说话人验证的多查询多头注意力池和 Inter-TOPK 惩罚

Miao Zhao1, Yufeng Ma1, Yiwei Ding1;2, Yu Zheng1, Min Liu1, Minqiang Xu1【若翻译侵权或者其他利益，请联系删除，本文只用于学术学习笔记记录】

摘要

本文描述了我们在2021提交的VoxCeleb说话人识别挑战（VoxSRC）系统描述中首次提出的多查询多头注意力池（MQMHA）和topK间惩罚方法。大多数多头注意池机制要么通过多个头部关注整个特征，要么关注整个特征的几个分割部分。我们提出的MQMHA结合了这两种机制，并获得了更加多样化的信息。通常采用基于余量的软最大损失函数来获得有区别的说话人表示。为了进一步增强类间可辨别性，我们提出了一种方法，在一些混淆的说话者上增加额外的类间topK惩罚。通过采用MQMHA和inter-topK惩罚，我们在所有公共VoxCeleb测试集上实现了最先进的性能。