语音识别(ASR)论文优选：端到端模型是否满足工业界落地需求Are E2E ASR models ready for an industrial usage?

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请注明出处。欢迎关注微信公众号：低调奋进。

Are E2E ASR models ready for an industrial usage? 

本文为Orange, 4 rue du Clos Courtel, Cesson-Sevign ´ e, France在2021.12.09更新的文章，主要在多场景下对比E2E的识别模型跟传统混合模型的性能和速度，具体的文章链接https://arxiv.org/pdf/2112.12572.pdf

---

（本文主要为实验对比。作者可能考虑成本开销，对每种模型训练时长进行限制，该操作造成模型欠拟合，不能表现出模型最优效果）

1 背景

随着端到端E2E模型的兴起，自动语音识别 (ASR) 社区经历了一个重要的转折点。同时，传统的混合模型仍然是语音识别使用的标准选择。本文在多场景下，对主流 E2E 模型和混合模型在性能和运行速度进行对比。实验表明 E2E 模型是混合模型的可行替代方案，甚至在准确性和推理速度方面都优于混合模型。因此，本文呼吁研究人员可以把关注点从性能转移到其它方面，比如端到端模型如何快速适应新的词典​。

2 详细设计

本文强调很多研究都是在开源的单一场景进行试验，而现实应用场景多种多样，因此本文实验设计为多场景实验，具体区别如图​1所示。

​实验数据：

多场景数据read speech：LibriSpeech；phone conversations ：SwitchBoard；dictation：WSJ；prepared talks ：TED-LIUM ； spontaneous nonnative speech ：Franglish, French natives speaking English in a spontaneous manner​。

​对比系统：

Hybrid system​：AM is a TDNN， n-gram LM， f WFST

E2E models​：

          a) Recurrent ASR encoder​：CRDNN （ a CNN, a RNN and a MLP）

       b) Fully-convolutional ASR encoder :two versions of Citrinet: Citrinet-small and Citrinet-medium (10M and 30M parameters, respectively)

     c)Transformer-based ASR encoder:Conformer-small and Conformermedium (13M and 30M parameters, respectively).

​对比准则：WER，inverted Real Time Factor (iRTF,其值越大越好)

​训练流程：除了CRDNN模型训练14天，其它模型都训练7天（我感觉这点有点不妥，还应该添加模型收敛的试验后的效果​。可能作者考虑训练成本​：训练一个模型需要花 336美元）

3 实验结果

本文实验结果如Table 1所示​。模型参数量来说，CRDNN最大。​在CPU的iRTF来说，Conformer和Citrinet远好于混合​基准模型。在WER方面，端到端模型在不同场景的WER都好于​混合基准模型。从Conformer small好于Conformer medium结果来看，仅花费7天训练的模型存在欠拟合问题​。图2展示了各种端到端模型在处理长句子的时间和显存开销情况​。

4 总结

本文使用多场景训练和评估端到端识别模型。实验表明 E2E 模型是混合方法的可行替代方案，甚至在准确性和推理速度方面都优于混合模型。因此，本文呼吁研究人员可以把关注点从性能转移到其它方面，比如端到端模型如何快速适应新的词典。