Self-training and Pre-training are Complementary for Speech Recognition自训练和与预训练在语音识别中的互补

Self-training and Pre-training are Complementary for Speech Recognition自训练和与预训练在语音识别中的互补

简介

self-training和无监督的预训练可以互补，用来优化语音识别系统，但是还不清楚他们是否学习到了详细的patterns或者如何将他们有效的结合。本文仅使用了10分钟的带标签的数据（Libri-light）和5,300小时的无标签数据（LibriVox)进行训练，在Librispeech的clean和other的数据集上WERs为3.0%/5.2%。使用了全部带标签的数据训练，测试结果为1.5%/3.1%.

背景

2.1 无监督预训练模型

本文采用的模型是是Baevski的wav2vec

2.2 Self-training 方法

本文使用的是Kahn et al. (2020; [13]) and Synnaeve et al. (2020; [2])的 pseudo-labeling策略。第一次使用带标签的数据训练一个初始化的声学模型，然后使用这个模型和语言模型对没有标签的数据打上标签。最后，再使用这些伪标签数据（pseudo-labeled data）和有标签的数据训练一个新的声学模型。

其他研究人员的策略是重复多次使用伪标签的方法训练新的模型，这样的方法可以提高准确率，但本文只进行了一次伪标签训练，这样可以大大介绍计算量，同时可以了解到是否预训练和伪标签是互补的。