​Interspeech 2022 | 探索非自回归跨语言语音合成中的音色解耦问题

©PaperWeekly 原创 · 作者 | 音月

研究方向 | 语音合成

引言

语音合成（Text-to-Speech, TTS）是指文字转语音相关技术。随着人工智能技术的发展，TTS 的声学模型和声码器模型效果都在不断提高，单一语言在数据量足够的情况下已经可以合成较高品质的语音。

研究人员们也逐渐开始关注跨语言语音合成领域，本文介绍网易游戏广州 AI Lab 在 Interspeech 2022 中发表的一篇跨语言语音合成论文《Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech》，该论文提出了音素长度调节模块来解决 IPA 序列与单语言对齐系统对齐结果的不匹配问题，同时使用了基于 Fastpitch 的非自回归声学模型，实验结果表明了训练集说话人数量的增加、音高和能量的显示建模（主要是音高）都有助于非自回归跨语言 TTS 中说话人音色和语言的信息解耦。

论文标题：

Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech

论文链接：

https://arxiv.org/abs/2110.07192

演示网址：

https://hyzhan.github.io/NAC-TTS/

论文相关背景

目前跨语言TTS的主要实现方法有：跨语言中间特征、跨语言文本表示、对抗式训练、发音单元设计、跨语言文本处理模型等。更多相关背景知识及发展概述可阅读：《跨语言语音合成方法的发展趋势与方向》，本文不再赘述。

近年来，FastSpeech、FastPitch、FastSpeech2 等非自回归声学模型除了在语音生成速度上表现出巨大优势，生成语音自然程度也越来越高，相关论文作者试图在跨语言语音合成系统中使用非自回归声学模型，但是由于典型的非自回归声学模型需要加入显式的音素发音时长进行模型训练，这会导致模型增加使用 IPA 这类跨语言文本表示的难度（因为这样会需要有一个跨语言的文本语音对齐系统）。

该论文提出了音素长度调节模块来避免这个问题