Denoispeech: Denoising text to speech with frame-level noise modeling

作者：Chen Zhang， Xu Tan
会议：2021 icassp
单位：微软

abstract

TTS的训练数据通常是高质量的干净语音，但是有时候目标说话人只有真实场景的带噪数据，如何生成干净的TTS语音？

• 方法：（1）降噪后的语音用于训练TTS模型；（2）noisy speech和clean speech混合训练，加入一个额外的noise embedding。(infer的时候用clean speech embedding，但是使用的ref emb是句子级别的）
• 问题：上述方法不能解决真实环境的非平稳噪声。
  本文提出DenoiSpeech，使用noise condition module逐帧细粒度的处理语音中的噪声，实验结果表明对于real-world的数据，本方法比上述两种方法好。

introduction

• noise extractor 从target noisy speech中提取帧级别的noise info——TTS Loss+ adversarial CTC loss确保只有noise信息保留；
• noise info 送入TTS decoder中，

method