语音合成论文优选：Parallel Tacotron 2: A Non-Autoregressive Neural TTS Model with Differentiable Duration Mod

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

---

Parallel Tacotron 2: A Non-Autoregressive Neural TTS Model with Differentiable Duration Modeling

本文是google在2021.04.13更新的文章，主要解决Parallel Tacotron的对齐问题，本系统不需要额外的对齐信息，具体的文章链接

https://arxiv.org/pdf/2103.14574.pdf

第一篇文章

Parallel Tacotron: Non-Autoregressive and Controllable TTS

的链接

https://arxiv.org/pdf/2010.11439.pdf

---

1 研究背景

tacotron系列以合成高质量语音和闻名，但其自回归模式限制其速度，因此本文提出了非自回归parallel tacotron，当然其合成质量是接近taoctron2。但parallel tacotron需要额外的对齐信息来训练duration decoder，因此本文在parallel tacotron基础上提出了parallel tacotron2，该模型使用一种新颖的attention机制来进行对齐。（对齐矩阵）

2 详细架构

先来看一下图1展示了parallel tacotron系统架构，主要由input encoder, residual encoder, duration decoder, spectrogram decoder构成。当然该系统也需要借助外部的对齐信息来训练duration decoder 。

接下来的parallel tacotron2主要使用下图的结构进行时长估算。首先duration predictor估算每个token的时长，然后learning upsampling模块根据时长信息来学习attention matrix w和auxiliary attention context C。当然这样预测出来的特征跟真实的特征帧数不一样，无法求loss,因此使用soft-DTW来进行求值。最后的loss为公式7。

3 实验结果

table 1，table 2和table 3显示本文的parallel tacotron2在preference好于parallel tacotron和tacotron2 。图3展示了使用本文进行调速。

4 总结

本文主要解决Parallel Tacotron的对齐问题，本系统不需要额外的对齐信息。