yyp1998的博客

用于端到端语音识别的非常深的自注意力网络摘要最近，语音识别的端到端序列-序列模型引起了研究团体极大的兴趣。虽然以前的架构选择通常围绕时延神经网络（TDNN ,time-delay neural networks）和长短时记忆递归神经网络（LSTM）,我们提出通过Transformer架构使用self-attention作为替代。我们的分析表明，深层的Transformer网络具有很强的学习能力能够超过以前的端到端方法，甚至可以与传统的混合系统相竞争。此外，我们对于编码器和解码器用高达48层的Transf