Cross-speaker Style Transfer with Prosody Bottleneck in Neural Speech Synthesis

作者：
单位：
会议：

abstract

风格迁移的事情一直没做好主要有两个原因：（1）单条语音中得到的style embedding很难实现任意文本的细粒度风格控制；（2）style embedding中的content/text, prosody, and speaker timbre高度耦合，因此想要独立的控制其中一个部分很难。

introduction

风格迁移的意义：传统的风格迁移是让说话人录制多种风格的据用于合成，但是有的场景下没有说话人多种风格的数据（或者说话人无法录制指定风格的数据）， cross-speaker style transfer就非常重要了。
speaking style transfer分成：

• prosody transfer：txt-paired reference speech拿到细粒度的embedding，但是问题是真实场景中的pair数据（reference speech的文本和要合成的文本是一致的）很难获得；
• style transfer：从reference speech中拿到reference embedding，用于代表reference speech的风格，然后控制语音的合成。但是，reference embedding中混合有content和timbre的信息。而且，风格很多是由局部的信息表现的，但是提供的是一个global embedding，因此很难还原细粒度的风格。

Related Work

• prosody transfer：本方法是基于prosody bottleneck sub-network得到的，不是来自于reference speech。
• style transfer：之前的方法更多是intra-speaker的风格迁移，本方法实现了保存source speech（另一个说话人）phn-level prosody，和target speaker的音色。比之前的所有方法路鲁棒性更强，更加细粒度。

model arch

• 输入txt-emb, spk-emb, style-emb(global info)，预测ps/es/ds，添加prosody loss，然后再次编码送给decoder