语音合成（TTS)论文优选：Building Multilingual TTS using Cross-Lingual Voice Conversion

声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

Building Multilingual TTS using Cross-Lingual Voice Conversion

本文章是日本东京的日立制作所研发集团在2020.12.27更新的文章，主要使用单语言语料来构建多语言的语音合成系统，具体的文章链接

https://arxiv.org/pdf/2012.14039.pdf

（本文章没有给出demo，无法断定效果好坏，我最近跟踪一下语音转换的方案，基于GAN的方案说实话效果还很差，根本无法作为训练语料来使用，还不如基于ppg+tacotron的方案）

1 背景

让机器人说几种语言，如果语音合成系统的单个说话人不支持多种语言的合成，则每种语言就要进行模型切换，音色的切换造成人机交互体验差。但是获取一个说话人多种语言的训练语料往往不现实，因此如何使用单人单语言的语料来获取多语言的语音合成系统成为研究的热点。本文提出了使用声音转换（voice conversion)来优化多语言语言合成，其主要贡献点是提出三种使用VC的方案。

2 具体设计

首先看一下VC的方案（图1所示）。训练1阶段是使用英语，日语和中文来分别训练ASR模型。训练2阶段是从原始音频提取声学特征（mcep+lf0+bap)和mfcc&