blabla11111的博客

原创 论文阅读|ERNIE-SAT: SPEECH AND TEXT JOINT PRETRAININGFOR CROSS-LINGUAL MULTI-SPEAKER TEXT-TO-SPEECH

语音表示学习方法（Speech Representation Learning）既改善了对于单一语种语音的可理解性，又提高了单一语种语音合成任务的效果。然而，对于跨语种任务来说，其效果不太好。该论文提出了一种语音-文本联合预训练框架——在给定语音和文本的情况下，随机掩蔽（mask）语音频谱特征和音素序列，通过学习重建语音输入的被掩蔽部分，来达到语音合成（语音克隆）的目的；提出了一种新的掩蔽策略——非重叠掩蔽策略（Non-overlapping Masking Strategy）。