StarGAN-VC是利用StarGAN的图像到图像翻译原理,来实现“多对多”的非平行数据集下的语音音色转换,其实质是对语音的梅尔能量进行转换。
StarGAN-VC和StarGAN的不同之处:
- StarGAN-VC加入了一致性损失(identity loss)
- StarGAN-VC将分类器独立出来
- StarGAN-VC在生成器和判别中都有连接说话人特征向量的操作
- StarGAN-VC使用了GLU激活层
StarGAN-VC结构:
由下图可以看到说话人向量的连接操作和GLU层。
StarGAN-VC的特点:
对比CycleGAN-VC来说主要有:
- 一个模型实现非平行数据集下,“多对多”音色转换
- 模型速度比CycleGAN-VC快