谢磊老师论文: A NOVEL CROSS-LINGUAL VOICE CLONING APPROACH WITH A FEW TEXT-FREE SAMPLES

0. ABSTRACT

但是学习英国人音色的时候, 仍然将英文的f_smooth带入了acoustic model, 这样建模音色的方式仍然不太好TODO...

本文提出了一种新颖的跨语言语音克隆利用获得的瓶颈（BN）功能构建框架--来自目标语言的独立于说话者的自动语音识别系统

• 首先，我们使用音频-文本对目标语言的单个说话者的训练文本->BN特征的映射, 称之为韵律模型 (latent prosody model)
• 然后,  训练多说话人BN特征转->声学特征，在目标语言中, 称之为声学模型 (acoustic model)
• 最后，声学模型根据目标说话者的声音进行微调, 语料使用源始语言, 在其中是BN特征->声学特征, BN为桥梁, 不出现文本

我们的方法具有以下优点：

• 1）没有来自需要双语讲者；
• 2）训练声学模型不需音频-文本；
• 3）没有多余的复杂结构需要建模说话者音色或建模语言进行编码;

实验结果表明，只有几分钟新的英语说话人音频 (大约100句), 我们的系统可以得到和说话者相似并且自然的普通话语音

1. INTRODUCTION

略. TODO...

2. SYSTEM ARCHITECTURE

2.1. Bottleneck Features

估计是PPG, 但没有仔细看. 略. TODO...

2.2. Latent Prosody Model

估计是PPG-Taco, 但没有仔细看. 略. TODO...

2.3. Acoustic Model

prenet + cbhg

而且没有说话人向量, 也就是是训练average model, 然后具体说话人的时候fine-tune

2.4. Speaker Adaptation

fine-tune

3. EXPERIMENTS

很标准, 赞~

特别的, 加强训练部分: Acoustic model is pre-trained for 200k steps with L1 loss and a batch size of 32, then fine-tuned for 4k steps with target speaker’s data