DataBaker的博客

WAV2VEC: UNSUPERVISED PRE-TRAINING FOR SPEECH RECOGNITION概要本文使用大量的无标签数据集去预训练wav2vec模型，从而提升声学模型效果。本文训练的模型在性能上超越了Deep Speech 2，在nov92测试集上，WER达到了2.43%。1 简介预训练在深度学习算法中是一个很常用的方法，主要作用是能提升模型性能，即使是在当前带标签数据集的很少的情况下。主要方法是通过大量的无标签数据或者有标签的其他数据集对模型进行训练，可以使模型学习到通用的特

Self-training and Pre-training are Complementary for Speech Recognition自训练和与预训练在语音识别中的互补简介self-training和无监督的预训练可以互补，用来优化语音识别系统，但是还不清楚他们是否学习到了详细的patterns或者如何将他们有效的结合。本文仅使用了10分钟的带标签的数据（Libri-light）和5,300小时的无标签数据（LibriVox)进行训练，在Librispeech的clean和other的数据集上W