淘宝直播“一猜到底”——移动端实时语音识别技术方案及应用

• 语音模型和资源包体积过大

考虑到活动特性，端侧的语音识别引擎需要内置在包内，而且越小越好。经过客户端研发评估，如何做到15MB以内甚至更小的语音模型是关键，因此需要极致的模型压缩能力支持。

• 端侧资源有限，性能压力大

直播场景本身就已经很占用资源，叠加直播场景下做语音识别，对语音识别过程中的CPU、内存占用，都有很大的要求，高性能的推理和优化成为模型落地的最大拦路虎。

移动端实时语音识别技术大揭秘

==================

---

阿里达摩院语音实验室早在2015年就研发出了第一代移动端离线语音识别方案，近来结合PAI模型压缩、MNN高性能推理引擎，实现了移动端离线和流式端到端语音识别方案，满足语音指令、语音识别、实时翻译等场景需求。根据「一猜到底」项目需求，我们选取"基于SAN-M的离线端到端语音识别"方案，通过极致的模型压缩和性能优化，最终实现模型大小小于15MB、内存占用低于60MB、1s语料识别快于50ms的高性能方案。

▐  基于SAN-M的离线端到端语音识别

---

---

目前，最具代表性的离线端到端语音识别模型LAS[1]和Transformer[2]都是基于Attention-Encoder-Decoder的。LAS采用基于BLSTM的Encoder和基于单向LSTM的Decoder；而Transformer则采用Multi-head Self-Attention模块组建Encoder网络，采用Masked Multi-head Self-Attention组建Decoder网络。

在公开评测任务集上，Transformer较LAS在性能上有优势，同时由于采用了Multi-head，训练并行化效率更高。我们分析了Self-Attention和DFSMN memory block[3,4]之间的关联性：Self-Attention可以理解为采用了context-dependent系数进行全局建模，而DFSMN的memory block则采用了context-independent系数进行局部建模。对于语音识别，局部声学建模和全局语义建模都非常重要，因此我们提出了如下图所示的SAN-M模型结构，高效地融合了Self-Attention和DFSMN memory block。

SAN-M模块如上左图所示，将Self-Attention和DFSMN memory block融合一个模块，有效的结合了Self-Attention的全局长时建模能力和memory block的局部长时建模能力。基于SAN-M模块构建了如上右图的Encoder-Decoder离线语音识别系统（SAN-M-E2E-ASR），并在开源的1000小时AISHELL-2中文识别任务中获得了当前该任务的最优性能（CER=5.61%）；在工业量级的2万小时中文识别任务中，该系统也显著优于我们之前线上的CTC系统和标准Transformer系统。

针对本次识别场景，我们最终实现了不到40MB的端到端模型，而识别性能则可以媲美上一代整体超过100GB大小的云端DFSMN-CTC系统。我们在finetune数据上进行了不同维度的挑选和搭配，并做了不同策略的数据扩增来覆盖多样的识别情况。针对模型输出的token，也进行了一定压缩，并拉低了与本次任务无关的token概率来降低误识别率。在ITN模块，