LAS: Listen, Attend and Spell [Chorowski et al., NIPS'15]
基于Attention机制的end-to-end语音识别模型
模型介绍
- Listen (Encoder):
模型第一部分叫做Listener, 其input为常见的声学特征序列(mfcc/filterbank), output为经过提取后的高阶声学特征序列h = (h1,h2,h3,...)。
具体可以用各种RNN模型来实现。比如Pyramid RNN每几个timestep的input特征合并输出一个高阶特征;Pooling Over Time 的方法每过几个timestep输出一个特征;Time-delay的DNN在多个input feature里选择相关的输出高阶特征; 这些都起到了类似特征降维的效果(down sampling)。更先进的有用self-attention layer代替rnn layer的模型,truncated self-attention模型就是对input feature有选择地做self-attention. (self-attention可参照:https://www.youtube.com/watch?v=ugWDIIOHtPA)