语音论文优选：口语理解A Streaming End-to-End Framework For SLU

声明：语音论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

A Streaming End-to-End Framework For Spoken Language Understanding

本文为滑铁卢大学在2021.05.20更新的文章，主要做流式口语理解的工作，具体文章链接https://arxiv.org/pdf/2105.10042.pdf

---

1 背景

我们先看一下具体的语音交互的系统的整个流程：speech->ASR->NLU->NLG->TTS->speech。该流程的每个模块将会独立训练，因此ASR的错误将会被后续的模块逐渐积累放大，常用的做法就是在ASR之后添加纠错系统。而另一种的方法就是Spoken Language Understanding，直接从speech中获取意图，目前研究较热的是end-to-end的SLU，但该模型需要较长的latency，因此本文提出基于streaming的end-to-end SLU，其准确率与现有的end-to-end的SLU相当，但latency较小。

2 详细的设计

图1展示了传统的SLU,end-to-end SLU和本文的streaming end-to-end SLU。其中本文的streaming end-to-end SLU可以增量式识别意图和识别多意图。其中streaming end-to-end SLU的架构如图2所示:ULSTMP +CTC。具体的strea