专业实践记录V: 补 - 一种基于PPG一致性的最优映射跨语言音色转换方法

0. 说明

记录的是2020-10-10到2020-11-10之间的工作

主要描述了一种基于PPG一致性的最优映射跨语言音色转换方法的专利

1. 实践任务情景简介

由于全球化的兴起，在社交媒体文本、非正式信息和语音导航中，文本或语音出现不同语言内容的交替。在人机口语对话系统中，合成这样的语句时，声音要一致、发音准确并自然，但实际上单说话人双语语料库不易获取。使用跨语言音色转换技术是解决此类任务的重要方法

2. 问题描述

传统的跨语言音色转换主要存在以下几个方面的问题：1）传统的方法没有有效的、彻底的解耦开语音的内容特征、音色特征、语言特征；2）未考虑到不同语言下不同说话人的语料库PPG的覆盖可能不同；3）没有提出客观的衡量跨语言音色转换后的语音在内容一致性的方法

3. 针对思路

3.1. 第一个问题

针对第一个问题，随着深度学习的发展，越来越多的研究人员尝试通过神经网络中的不同结构设计来进行特征的解耦，进而在转换时可以自由的组合。但是目前的研究仍然达不到不同特征之间完全的解耦，导致转换得到的语音出现错误口音或质量不稳定的现象。我们引入PPG特征，通过多说话人通用ASR技术，来去除音色特征，提取帧级别的语音内容特征PPG，实现内容特征和音色特征的解耦

3.2. 第二个问题

PPG具有跨语言跨说话人表示内容特征的特性，但是由于跨语言时PPG特征所使用的音素集合的不准确性，以及不同语言不同说话人的语料对PPG特征覆盖范围的不同，导致传统的基于PPG的跨语言音色转换的语音表