Self-training and Pre-training are Complementary for Speech Recognition

# Self-trainingandPre-trainingareComplementary forSpeechRecognition

 

## 论文思路：

将self-train和 预训练结合起来有互补的作用，并在有限的标注数据上（10min)取得了超过了960有监督数据的训练的最好结果。

 

## 1. self-training approch

现在一个有限的数据集上训练一个初始模型，然后用这个初始模型和语言模型去对未标注数据打标签。然后假标签数据和以前有标签的数据一起训练一个新模型。

## self-training 方法

解码的时候采用two-pass rescoring 方法：（1）首先通过wav2vec 2.0 和 4-gram language model 在 beam search 800 解码后挑选出50个最高的candidate list. (2) 通过Transformer LM 进行rescore.

## 实验结果

* low resource labeled data

增大有标签数据，不增加无监督数据这样的配置增益会减小。

* high-resourced data

当使用selftrain 和 wav2vec 2.0 一起使用时，语言模型的作用会减小： 在打标签使用语言模型的作用会被部分蒸馏到伪标签的数据中。

对模型表现影响较大的主要是labeled 和unlabeled data 的比例。