语音转换2020文章调研

1. 【小数据VC】Attention-Based Speaker Embeddings for One-Shot Voice Conversion [2020 interspeech]

论文

单位：日本NTT
seq-seq with attention的VC，

2. 【提升质量】ATTS2S-VC: SEQUENCE-TO-SEQUENCE VOICE CONVERSION WITH ATTENTION AND CONTEXT PRESERVATION MECHANISMS [2019 icassp]

3. 【实时VC】ConVoice: Real-Time Zero-Shot Voice Style Transfer with Convolutional Network [投稿 2020 interspeech]

单位：Higher School of Economics, Saint Petersburg，Russia
introduction：
zero-shot voice conversion (VC) without any parallel or transcribed data.
预训练的ASR, SV（speaker verification)模型，VC模型是全CNN，没有自回归。
人的语音可以分为四个部分：Timbre–说话人的音色，content–文本信息， pitch and rhythm ----韵律信息。
之前的VC主要分为两种，timbre conversion–逐帧对source进行转换，但保存source的韵律信息；非等长对齐通过RNN/attention对source和target进行非等长对齐，尽管这种方法较好的转换了target的韵律信息，但是对于长句子样本时通常比较慢或者韵律变差。

网络更小，计算更快，单独训练好的SV模型提取speaker embedding而不是look up table更有可能实现zero-shot VC。

代码链接，demo展示