FastPitch: Parallel Text-to-speech with Pitch Prediction

• icassp 2021
• nvidia

开源代码

abstract

motivation：fastspeech2的pitch predictor预测帧级别基频，本文提出预测字级别基频；生成结果更有表现力，更符合句子级的文本含义。

• 从phn预测基频，然后conv处理成embedding送回相加。

methods

duration

• pre-trained Tacotron2得到的对齐矩阵，用于提取duration信息作为FastPitch的的target duration。
• 单人和多人数据训练的Tacotron模型对于时长的分配结果比较接近，但是可能会把longest duration分给不同的phn，但是这样的差异并不会影响FastPitch的性能。

pitch

• 提取帧级别的基频，然后按照char求平均，其中unvoice的帧求平均时删掉，然后将平均后的数据做归一化处理（mean=0, std=1)。这样的结果和logF0相差不大。
• 作者尝试将char的基频值用三个数表示，试图代表begin， middle， end的基频，但是收到了负向结果。

experiment

• 基于LJspeech做的，参数配置和fastspeech相当。
  
  

• 对基频的修改可以是平移，e.g. up/down shift 50HZ，不会改变用户音色，但是改变了合成语音的发音情况。