跨语言语音合成核心问题提出: 建模英文Mel间的smooth

0. 说明

这个问题是老师提出, 客服跨语言合成的效果不好的关键:

1. 方案一: 中国人学着发英文的音串

传统的跨语言方案, 19谷歌, CUHK, 后来的PPG等都是这个思路

缺点略(其实可以好好分析, 偷个懒......也能力还有点虚...)

2. 方案二: 英国人们说英文学着中国人的音色

2.1. 完整的PPG-Cross-Lingual-Voice-Clone方案

由于PPG和Mel的因果关系, duration和韵律信息完全不会冲突, 并且不断迭代可以收敛

不过有些麻烦, 先不做, 做一个简化版啥都不用额外做的先试试, 也就是下面的

2.2. TXT为输入Tacotron多说话人Voice Clone方案

Transfer Learning from Speaker Verification to Multispeaker TTS论文的实现代码和pretrain mode

也就是之前做的跨语言Voice Clone的实验: 

• https://blog.csdn.net/u013625492/article/details/109715387
• https://blog.csdn.net/u013625492/article/details/109738381
• https://blog.csdn.net/u013625492/article/details/110079928

3. 方案三: 语音模型重生成(网络内部Post-Net后处理)

语音模型, 英文语音模型可以建立smooth

1. 可能1: 在训练时故意输入不连贯的mel, 输出连贯的mel. 还真的跟语言模型的训练手段类似