SLT2021: CONVERSATIONAL END-TO-END TTS FOR VOICE AGENTS

0. 题目

CONVERSATIONAL END-TO-END TTS FOR VOICE AGENTS

语音代理的会话式端到端TTS

1. 摘要

端到端神经TTS在阅读风格语音合成方面取得了出色的表现。但是，由于语料库和建模能力的限制，构建高质量的会话式TTS仍然是一个挑战。这项研究的目的是在序列到序列建模框架下为语音代理建立对话式TTS。首先，我们采用一种新的录音方案来构建一个非常适合语音代理的自发性对话语音语料库，以确保录音质量和对话风格。其次，我们提出了一种会话上下文感知的端到端TTS方法，该方法采用了辅助编码器和会话上下文编码器来专门增强会话中当前话语及其上下文的信息。实验结果表明，所提出的方法根据会话上下文产生了更自然的韵律，在话语级和会话级均具有明显的偏好增益。此外，我们发现该模型具有表达某些自发行为的能力，例如填充词和重复单词，这使得会话说话的风格更加逼真

关键词: Text-to-Speech, End-to-End, Conversational TTS, Speech Corpus, Voice Agent

文本到语音，端到端，会话TTS，语音语料库，语音代理

2. 简介

文本语音转换（TTS）在人机对话中扮演着越来越重要的角色[1]，使机器能够与用户对话。 但是，现有的TTS技术在面向会话的任务中仍然无法获得令人满意的性能和沉浸式体验。 它仍然希望具有更人性化的自然语言，并具有适应特定对话环境的对话式讲话风格。 为了构建高质量的会话TTS系统，至少需要解决