语音论文阅读:使用无监督的预训练改善基于Transformer的语音识别

摘要

语音识别技术在各种工业应用中取得了巨大的普及。然而，建立良好的语音识别系统通常需要大量的转录数据，这是昂贵的收集。为了解决这个问题，提出了一种被称为掩蔽预测编码的无监督的预训练方法，其可以应用于与基于Transformer的模型的无监督预传真预测。 HKUST的实验表明，使用相同的训练数据，我们可以实现23.3％，超过最佳端到端模型超过0.2％的绝对CER。通过更多的预训练数据，我们可以进一步将CER降低到21.0％，或相对CER减少11.8％的基线。

引言及相关工作

最近，无监督的预训练已经显示出有希望的若干领域，讲了无监督学习的预训练在各个领域的热门。在语音方面，无监督学习有对比预测编码(CPC)，自回归预测编码(APC)。并提出了一种简单有效的预训练方法，称为屏蔽预测编码（MPC）。

整体培训程序如图1所示。我们的培训包括两个阶段，在无监督数据上进行预测和对监督数据进行微调。为了引入模型结构的最小变化，直接对FBANK输入和编码器输出进行预测编码。编码器输出在所有实验中投射到与FBANK输入相同的维度。在无监督的预训练过程之后，我们删除了添加层进行预测编码，并插入Transformer解码器，用于在下游ASR任务上进行微调。与以前的使用预测编码不同，我们的设置不会将任何其他参数引入语音识别模型中。所有型号参数都是微调阶段的端到端培训。

实验

数据：HKUST,AISHELL-1,aidatatang_200zh,MAGICDATA,ST-CMDS,Primewords,以及didi内部10000小时数据。

模型结构： (e = 12, d = 6, dmodel= 256, dff= 2048 head= 4)

应用CTC 权重为0.3