VOCBENCH目录
Facebook在2021年发表的论文,为了解决vocoder评价过程中因变量不同而导致的难以评估的问题。
论文地址: https://arxiv.org/pdf/2112.03099.pdf
GitHub地址: https://github.com/facebookresearch/vocoder-benchmark
一、数据集和声码器选择
数据集:一个单说话人数据集和两个多说话人数据集。
在相同的环境下训练了六个不同的vocoder
二、评价指标
生成质量评估
- MOS(平均意见得分)
- SSIM(结构相似性):合成波形和真实波形的相似性
- FAD(相邻音频距离):在embedding集合上估计的两个多变量高斯之间的距离,背景和评估embedding。
- LS-MSE(mel光谱图均方误差):真实mel谱图和生成图谱之间的计算误差
- PSNR(峰值信噪比):信号在最佳情况下输出功率和噪声峰值的功率之比。
计算效率评估
- Params(模型参数量)
- GFLOPS(每秒浮点运算个数)
- RTF(实时性能)
三、实验结果
根据表一可以得到:
- SSIM波形相似性:
melgan
> griffin-lim > PWG > diffwave > wavegrad > wavenet > wavernn - LS-MSE梅尔均方误差:
melgan
= griffin-lim > PWG 远大于其他 - PSNR信噪比:
melgan
> griffin-lim > PWG 远大于其他 - FAD音频距离:
PWG
> wavenet > melgan 远大于其他 - MOS语音自然度:
PWG
> diffwave > wavernn > wavenet > wavegrad >melgan > griffin-lim
根据表二可以得到:
- Params模型参数量:
PWG
> diffwave > melgan > wavenet > wavernn > wavegrad - GFLOPS:
wavernn
> wavenet 远大于其他 - RTF 计算速度:
melgan
> PWG 远大于其他