VITS 语音合成完全端到端TTS的里程碑

Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech（ICML 2021）

KAKAO公司与KAIST韩国科学院，近年在TTS领域佳作频出，目前最主流的HiFiGAN声码器也是其成果。

目录

概览：

突破点：

high level的优缺点总结：

VITS优点                            

缺点：

模型详解：

看懂需要的前置知识，推荐苏神的生成模型系列文章：

1. 变分推断(Variational Inference)

2. 随机时长预测模块​

3. 解码器模块​

---

概览：

提出一种TTS模型框架VITS，用到normalizing flow和对抗训练方法，提高合成语音自然度，其中论文结果上显示已经和GT相当。结合VAE和FLOW的前沿架构。

代码： https://github.com/jaywalnut310/vits

Demo地址: https://jaywalnut310.github.io/vits

论文地址：https://arxiv.org/abs/2106.0610

---

突破点：

• 首个自然度超过2-stage架构SOTA的完全E2E模型。MOS4.43, 仅低于GT录音0.03。声称目前公开系统最好效果。

• 得益于图像领域中把Flow引入VAE提升生成效果的研究，成功把Flow-VAE应用到了完全E2E的TTS任务中。
• 训练非常简便，完全E2E。不需要像Fastspeech系列模型需要额外提pitch, energy等特征，也不像多数2-stage架构需要根据声学模型的输出来finetune声码器以达到最佳效果。
• 摆脱了预设的声学谱作为链接声学模型和声码器的特征，成功的应用来VAE去E2E的学习隐性表示来链接两个模块
• 多说话人模型自然度不下降，不像其他模型趋于持平GT录音MOS分

 

  

---

high level的优缺点总结：

VITS优点                      

• 合成速度足够快

  • 三个主要网络结构均为可并行的非自回归结构保证了合成速度：
    • 和Fastspeech系统相同的transformer作为文本Encoder
    • 和Glow-TTS相同的Flow结构作为VAE的主体
    • 和HiFiGAN生成器相同的反卷积作为Decoder
• 长文本稳定性好
  • 采用了Glow-TTS相同的单调对齐搜索算法(MAS), 保证生成对齐的稳定性
• 语音多样性好
  • 在预测音素时长的模块中也引入Flow结构增加生成韵律的多样性

---

缺点：

• 多样性，稳定性的trade off
• 训练收敛速度慢
• 全局信息学习能力较弱（韵律，风格略平淡）

                                

                                接近GT，但是单独做CMOS还是比GT要低的。

---

模型详解：

看懂需要的前置知识，推荐苏神的生成模型系列文章：

1. VAE系列文章，看到你自己觉得懂了：变分自编码器（一）：原来是这么一回事 - 科学空间|Scientific Spaces

VAE变分自编码机详解——原理篇 - 知乎

2. Flow/Glow：

细水长flow之NICE：流模型的基本概念与实现 - 科学空间|Scientific Spaces

细水长flow之RealNVP与Glow：流模型的传承与升华 - 科学空间|Scientific Spaces

3. 上述两者的结合，也就是本篇论文主要部分：

细水长flow之f-VAEs：Glow与VAEs的联姻 - 科学空间|Scientific Spaces

---

了解一个模型就从它的Loss入手：

Loss：

三部分Loss对应三个主要模块：

---

1. 变分推断(Variational Inference)

优化目标：最大化条件下界(ELBO)

 

符号解释：
z 为线性谱经过后验编码器后得到的隐变量
y_hat 为 z 经过decoder后得到预测音频序列
x 为真实音频的Mel谱
c 为文本， d为音素时长duration，A为对齐矩阵
p(x|c) 和 p(x|z) 分别为目标 x 对 c 和 z 的最大似然

 

 重构Loss：

• 预测音频 y_hat 提取的Mel谱和真实Mel谱的L1 Loss
• Decoder为HiFiGAN声码器的generator生成器

 

---

---

2. 随机时长预测模块

•  通过单调对齐搜索算法(MAS),  获得文本编码后预测的均值方差和隐变量 z 通过Flow后的正态分布的最优对齐矩阵。
• 时长预测模块去学习这个对齐矩阵序列
• Flow应用到此模块增加生成序列的多样性

---

3. 解码器模块

•  Decoder即为HiFiGAN的生成器，两个Loss也对应原论文中相同的对抗Loss和特征鉴别器Loss, 想深入了解可以参考原论文。

---

总结与思考

整篇文章总体还是很优美，通过合理的应用vae-flow架构，得到了不错的效果。后续微软谭旭的natrual TTS工作也是很大程度借鉴了这篇文章，给出了更多的解释。 

目前生成模型包括新的Diffusion模型在常规数据集上都能做到不错的效果，更高难度的高表现力数据的还原将成为未来热点方向。但大概率突破仍然会产生在类似的生成模型架构上。