语音识别(ASR)论文优选：Training end-to-end speech-to-text models on mobile phones

声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html，语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）。如有转载，请注明出处。欢迎关注微信公众号：低调奋进。

Training end-to-end speech-to-text models on mobile phones

本文为Department of Electronic Systems Engineering Indian Institute of Science, Bengaluru, India在2021.12.07更新的文章，主要在手机端做ASR模型的训练实验，具体的文章链接https://arxiv.org/pdf/2112.03871.pdf

---

（本文为实验经验分享，为读者增加经验值~）

1 背景

现在的语音识别训练和推理服务都是集中在云端服务器，但随着个性化ASR需求的增加，在手机等端上进行ASR训练和推理成为研究的热点​。本文主要分享在手机端进行的ASR模型训练的时间和资源开销情况以及模型的WER​状况。

2 详细设计

本文的实验模型为DeepSpeech2(下图截取于DeepSpeech2），其参数量为table 3所示。本文的方案为，先使用table 1训练基础模型，然后在手机端对个性化语料进行微调​，微调的数据为table 2​所示。另外，对于微调的模型分为table 4展示的三种模型，只更新部分参数​。本文实验使用的手机为One plus和Redmi note，具体参数为table 5​所示。

3实验结果

先看一下table 6展示的batch size选取与时间开销的关系，本文根据RAM开销和时间开销之间做平衡选在batchsize为5​。Table 7展示了微调的学习率选取，从WER和Epochs之间做平衡选取1e-5​。图1展示了在各种平台训练模型WER情况​，平台不影响该指标​。table 8和图2在不同的数据集上进行试验，可以看出微调的WER相对于基础模型​提高很多。

4 总结

本文主要分享在手机端进行的ASR模型训练的时间和资源开销情况以及模型的WER状况​。​