细数语音识别中的几个former

随着Transformer在人工智能领域掀起了一轮技术革命，越来越多的领域开始使用基于Transformer的网络结构。目前在语音识别领域中，Tranformer已经取代了传统ASR建模方式。近几年关于ASR的研究工作很多都是基于Transformer的改进，本文将介绍其中应用较为广泛的几个former架构。

1. Conformer

Motivation & Method

Transformer模型擅长获取基于内容的全局信息但是对高细粒度的局部特征效果不佳，而CNN擅长获取局部特征信息对于全局信息则需要更多的层。他们希望将CNN和Transformer优势结合起来对音频序列的局部和全局依赖关系进行建模。

Model architecture

Conformer也是编码器-解码器结构，其中encoder由两个类似夹心饼干的前馈层组成，多头自注意力模块和卷积模块夹在两个前馈神经网络中间，紧接着Layernorm层。在本篇论文中，仅使用1层LSTM作为decoder。