Voice Clone解Cross-Lingual Voice Transfer的方案想法

0. 说明

• 在和real-time voice clone一样的基础上, 给出2000句中国人说中文(S1, X1)...(Sn, Xn)
• 正常使用时X1到speaker encoder, 然后结合英文TXT
• 新思路: 将2000句(S1, X1)...(Sn, Xn)去fine-tune原来的模型, 但是冻结decoder部分的权重, 以及txt encoder部分的权重, 只能够调节speaker encoder的权重/或者平均speaker embedding
• 先训练到loss最小, 看结果. 如果结果发音又不好了, 那么就fine-tune训练的少一些, 找到音色像以及没有口音的平衡点

1. 假设

这个假设是AutoVC的假设, 不知道是不是太强了

不过也是有补充的, AutoVC论文将X分为(S, U), S为speaker相关信息, U为content信息, 但是又强调:

• The speaker-independent information includes but is not limited to the content information in Z, but for convenience, we will refer to the speaker-independent information as content information

所以放心的使用这个假设, 既每一个说话人的特征信息应该是同一个随机变量, 也就是都相同的embedding, 只是体现在不同句子中采样的有些许区别, 若假设Gaussian, 则共享E, 存在较小的方差

那么其实speaker encoder使用VAE也是很好的了?

2. 思路二

主体结构是autovc, 但是增加Txt作为输入, 然后经过attention之后的到content encoder得到的序列