语音合成论文优选：流式语音合成High Quality Streaming Speech Synthesis with Low, Sentence-Length-Independent Latency

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

High Quality Streaming Speech Synthesis with Low, Sentence-Length-Independent Latency

本文为三星在interspeech 2020发表的文章，主要是实现流式语音合成，获取更小的latency，具体文章链接https://www.isca-speech.org/archive/Interspeech_2020/pdfs/2464.pdf

（看了一下，这篇文章的思想很简单，我在上一家公司就和深度学习组的同事做了相同的实现，不过实现后就处在离职交接期，我就没关注用没用到生产线上）

1 背景

现有的语音合成系统更多关注系统合成的质量和推理速度，但很少关注系统的latency，即从输入文本到听到语音之间的时间开销。目前的系统大部分为整个句子合成之后才输出，句子越长等待的时间越长，这严重影响了人机交互的体验。为了减小latency，本文提出了流模式的合成系统，无论句子多长，都可以近乎常量时间返回首段音频。

2 设计

本文是在taotron+lpcnet系统上实现，具体的实现为图1所示。在tacotron的decoder的部分添加一个buffer,当buffer满了之后就可以进行post-net网络，（需要注意的是buffer大小要大于post-net的视野长度），同理输出的帧数大于lpcnet的encoder的感受视野就可以进行音频的合成。这样的模式可以使tacotron和lpcnet同时进行合成，而不需要等待tacotron合成整个句子的声学特征后才进行lpcnet的合成。

3 实验

本文的实验主要对比latency和r（每个step输出的帧数）的影响。首先table1显示r的影响，当r增加可以减少latency，但超过7以后就会急剧下降，这是因为每个step不能涵盖那么多帧的信息，而r=2的效果没有3号，可能因为还没有收敛所致。table2对比了集中常用的语音合成系统，由结果可知，本文的流模式latency几乎最低，逼近常量时间，缓慢上升是由于tacotron的encoder部分随着句子增长而增加，但该部分时间占比很小。
 

4 总结

目前的系统大部分为整个句子合成之后才输出，句子越长等待的时间越长，这严重影响了人机交互的体验。为了减小latency，本文提出了流模式的合成系统，无论句子多长，都可以近乎常量时间返回首段音频。