Parallel WaveGAN: A fast waveform generation model based on GAN with multi-resolution spectrogram

已于 2022-02-22 15:00:59 修改
阅读量425 收藏
点赞数
分类专栏： paper笔记 文章标签： 深度学习 机器学习 transformer
于 2021-12-15 17:59:17 首次发布
原文链接：https://arxiv.org/abs/1910.11480
版权

会议：2020 icassp
作者：Ryuichi Yamamoto，Eunwoo Song
单位：日本LINE，韩国Naver
开源代码

文章目录

abstract

  • PWG是一个非自回归的WaveNet，通过优化multi-resolution spec和对抗损失(多个stft窗），建模语音。
  • 不需要传统的density distillation，因此更好训练
  • 模型参数量1.44M，生成24khz音频时的GPU实时率28.68x

introduction

  • NN-vocoder之前是基于WaveNet（自回归网络）或者teacher-student的结构。
  • motivation： distillation-free的vocoder
  • 贡献：
    • stft loss + adversarial loss用于改进parallel wavenet，做 distillation-free PWG
    • 免蒸馏，训练加速；推理时间也加速；
    • 和Transformer-TTS集联，MOS分4.16

method

在这里插入图片描述

  • 生成器预测采样点，采样点求多个win_size的fft loss

生成器目标函数

在这里插入图片描述
其中
在这里插入图片描述
multi-resolution loss
在这里插入图片描述

experiments

在这里插入图片描述

林林宋
关注
专栏目录
【超分辨率（Super-Resolution）】关于【超分辨率重建】专栏的相关说明，包含专栏简介、专栏亮点、适配人群、相关说明、阅读顺序、超分理解、实现流程、研究方向、论文代码数据集汇总等
畅游计算机视觉的海洋
03-25 1万+
本专栏研究领域为【超分辨率重建】，涵盖图像超分、视频超分，实时超分，4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今，一般是一篇论文精读对应一篇论文复现。论文精读详解理论，归化繁为简，归纳核心，积累词句，培养阅读论文和论文写作能力。论文复现依托Pytorch代码，实现完整的模型训练流程，总结调参方法，记录碰到的bug，论文插图可视化，培养读写代码能力、做实验的能力、以及应用落地能力。
【ChatGLM】基于 ChatGLM-6B + langchain 实现本地化知识库检索与智能答案生成: 中文 LangChain 项目的实现开源工作
热门推荐
程序员光剑
05-21 6万+
陈光剑简介：著有《ClickHouse入门、实战与进阶》（即将上架）《Kotlin 极简教程》《Spring Boot开发实战》《Kotlin从入门到进阶实战》等技术书籍。资深程序员、大数据与后端技术专家、架构师，拥有超过10年的技术研发和管理经验。现就职于字节跳动，曾就职于阿里巴巴，主要从事企业智能数字化经营管理、电商智能数字化运营等系统架构设计和研发工作。在大数据和企业级系统架构领域有非常深厚的积累，擅长大数据系统架构和分布式系统架构设计开发。
ParallelWaveGAN:带有Pytorch的非官方并行WaveGAN（+ MelGAN和多频段MelGAN）
05-13
使用Pytorch的并行WaveGAN（+ MelGAN和多频段MelGAN）实现 该存储库通过Pytorch提供UNOFFICIAL ， 和实现。 您可以结合这些最新的非自回归模型来构建自己的出色声码器！ 请在检查我们的样本。 图来源： : 该存储库的目标是提供与兼容的实时神经声码器。 而且，该存储库可以与基于的实现相结合（请参阅）。 您可以尝试在Google Colab中进行实时的端到端文本到语音演示！ ESPnet2的实时演示 ESPnet1的实时演示 什么是新的 2020/10/07 （新！）提供JSSS配方！ 2020/08/19可以使用ESPnet2进行实时演示！ 2020/05/29提供VCTK，JSUT和CSMSC多频段MelGAN预训练模型！ 2020/05/27推出新的LJSpeech多频段MelGAN预训练模型！ 2020/05/24 L
【论文学习】《Parallel WaveGAN: A fast waveform generation model based on generative adversarial networks》
求求你们别卷了
08-06 1420
《Parallel WaveGAN : A fast waveform generation model based on generative adversarial networks with Multi-Resolution Spectrogram》论文学习 文章目录《Parallel WaveGAN : A fast waveform generation model based on generative adversarial networks with Multi-Resolution S
探索高效语音合成：Parallel WaveGAN 项目深度解析
最新发布
gitblog_00731的博客
08-12 350
探索高效语音合成：Parallel WaveGAN 项目深度解析 ParallelWaveGAN项目地址:https://gitcode.com/gh_mirrors/pa/ParallelWaveGAN 在人工智能和机器学习领域，语音合成技术的进步正以前所未有的速度推动着人机交互的发展。今天，我们将深入探讨一个引人注目的开源项目——Parallel WaveGAN，它基于PyTorch实现了一...
推荐项目：ParallelWaveGAN - 高质量音频生成模型
gitblog_00041的博客
03-25 431
推荐项目：ParallelWaveGAN - 高质量音频生成模型 ParallelWaveGAN项目地址:https://gitcode.com/gh_mirrors/pa/ParallelWaveGAN 是一个由 Kan Bayashi 开发的开源项目，它利用深度学习技术来生成高质量的语音波形。该项目的目标是提供一个快速且高效的端到端音频合成框架，特别适用于实时应用和大规模数据处理。 技术分析...
PARALLEL WAVEGAN论文学习
qq_28662689的博客
05-11 3537
Parallel Wavegan：基于具有多分辨率谱图的生成逆向网络的快速波形生成模型 摘要：Parallel WaveGAN是一种无蒸馏的对抗生成网络，快速且占用空间小的波形生成方法。该方法通过联合优化多分辨率谱图和对抗损失函数来训练非自回归WaveNet，可以有效捕获真实语音波形的时频分布。由于我们的方法不需要在常规师生框架中使用密度蒸馏，因此即使使用少量参数，也可以轻松地训练整个模型。特别是，提出的Parallel WaveGAN仅具有1.44 M参数，并且在单个GPU环境下生成24 kHz语音波形的
Parallel WaveGan论文和代码笔记
qq_32766309的博客
04-14 1413
PARALLEL WAVEGAN论文和代码结合笔记
CMGAN: Conformer-based Metric GAN for Speech Enhancement
weixin_48994423的博客
03-31 4496
[arXiv:2203.15149v1] Motivation 传统的技术会利用幅度分量而忽略相位。最近的方法为了更好地结合相位信息，采用了增强复数谱的策略。然而，幅度和相位之间的补偿效应常常导致幅度估计不准确。此外，SE中常用的目标函数就是估计的谱图与目标谱图之间的Lp -范数距离。然而，较低的距离并不总是导致较高的语音质量。基于此，提出了一种基于Comformer的MetricGAN (CMGAN)用于单耳语音增强。CMGAN由一个发生器和一个度量鉴别器组成。 Method 带噪语音波形y∈，经
GAN合成语音相关论文
tianyawp123的博客
01-15 2570
最近在做GAN语音生成相关的东西，找了一些相关的最新的论文和资料，在这里做一个记录。 一、语音基础知识 在知乎上看到了一个比较详细的介绍，搬运过来：语音合成那些事 二、GAN合成语音（TTS）相关论文 1.Yamamoto, Ryuichi, Eunwoo Song, and Jae-Min Kim. "Parallel WaveGAN: A fast waveform generatio...
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications_简单总结
m0_37569924的博客
03-10 1705
SR_简单总结 ① GANrecursive networkResidual networkCNNAUTO ENCODERELSE SR_简单总结 ① ) GAN GANISRGAN: Improved Super-Resolution Using Generative Adversarial Networks （CVC) G-GANISR: Gradual generative adversa...
WaveGAN：学习使用生成的对抗网络合成原始音频-Python开发
05-25
WaveGAN（v2）WaveGAN的官方实现，这是一种机器学习算法，用于学习生成原始音频波形。 更新（2/2/19）：为响应常见请求，我们对该存储库进行了重大改进。WaveGAN（v2）WaveGAN的正式实现，WaveGAN是一种机器学习算法，用于学习生成原始音频波形。 更新（2/2/19）：为响应常见请求，我们对该存储库进行了重大改进：添加了流数据加载器，使您可以在MP3 / WAV / OGGs / etc上训练WaveGAN。 无需预处理增强了训练WaveGAN的能力，能够生成更长的音频示例（在16kHz时长达4秒）增强了对任何音频采样率的支持增强了对mul的支持
Python-WaveGAN使用GAN合成原始音频
08-09
WaveGAN: 使用GAN合成原始音频，WaveGAN的官方TensorFlow实现
用Pytorch实现并行WaveGAN-python
06-18
Parallel WaveGAN implementation with Pytorch 使用 Pytorch 实现并行 WaveGAN（+ MelGAN 和多频段 MelGAN）此存储库提供了使用 Pytorch 的非官方并行 WaveGAN、MelGAN 和多频段 MelGAN 实现。 您可以结合这些最先进的非自回归模型来构建您自己的出色声码器！ 请在我们的演示 HP 中查看我们的示例。 图源：https://arxiv.org/pdf/1910.11480.pdf 本库的目标是提供实时神经声码器，兼容ESPnet-TTS。 您可以在 Google Colab 中尝试实时端到端文本到语音的演示！ What's new 2020/05/29 (New!) VCTK、JSUT 和 CSMSC 多频段 MelGAN 预训练模型可用！ 2020/05/27 新的 LJSpeech 多频段 MelGAN 预训练模型可用！ 2020/05/24 LJSpeech 全频段 MelGAN 预训练模型可用！ 2020/05/22 LJSpeech 多频段 MelGAN 预训练模型可用
auraloss:PyTorch中以音频为中心的损失函数的集合
04-01
光环 PyTorch中以音频为中心的损失函数的集合。 [ ] 设置 pip install auraloss 用法 import torch import auraloss mrstft = auraloss . freq . MultiResolutionSTFTLoss () input = torch . rand ( 8 , 1 , 44100 ) target = torch . rand ( 8 , 1 , 44100 ) loss = mrstft ( input , target ) 损失函数 我们将损失函数分为时域方法或频域方法。 此外，我们包括感知转换。 损失函数 界面 参考 时域 误码率（ESR） auraloss.time.ESRLoss() 直流误差（DC） auraloss.time.DCLoss() 对数双曲余弦（Log-cosh） aura
parallel-wavenet-vocoder:基于WaveNet的声码器可进行快速推理
05-14
并行WaveNet声码器 概述 这是一个实验项目，建立了一个基于WaveNet的声码器，该声码器在论文的启发下将梅尔频谱图并行转换为原始波。 由于非自回归模型之一的的结构，我们能够并行生成顺序数据。 由于在最大似然估计中无法直接直接对IAF模型进行优化，从而无法找到合适的最优值，因此难以一概而论，因此，本文引入了一种替代方法，即概率密度蒸馏。 它预先训练原始的WaveNet（教师），然后通过最小化两个概率之间的KL差异来优化IAF模型（学生）以对相似的输出概率进行建模。 如果再想一想，我们可以得出结论，“自回归”损失被强加给IAF模型，IAF模型本身就是非自回归模型。 这意味着，在训练序列生成模型时，“自回归”约束仍然是关键。 为了优化模型，我只尝试了简单模型（MLE），因为我对设计替代模型的动机感到好奇。 总之，在我的案例中，在没有自回归约束的情况下优化IAF模型几乎是不可行的。
ParallelWaveGAN训练笔记
qq_39688282的博客
04-06 628
使用开源项目训练模型 https://github.com/kan-bayashi/ParallelWaveGAN 此项目使用jupyter notebook，在GPU服务器上运行，环境如下： 官方文档使用的是Ubuntu16，这里我使用的是Ubuntu18。 安装过程： 在jupyter上打开Teminal 根据官方文档在Teminal依次执行下列命令： 虽说选择一个方法，但是都要执行！！！ 进入ParallelWaveGAN/egs目录，可以看到多个方法，这里我选择了csmsc（普通话女
WaveGAN: Frequency-aware GAN forHigh-Fidelity Few-shot Image Generation，WaveGAN：用于高保真少镜头图像生成的频率感知GAN
weixin_62401489的博客
03-30 985
我们的WaveGAN为发生器添加了低频和高频跳跃连接，缓解了发生器对高频信号进行编码的困难，并提供了更可感知的信息，从而获得了良好的生成质量我们设计了两种技术来聚合高频信息，以将频率信号重构回原始特征，即WaveGANM和WaveGAN-B，这两种技术保留了精细的细节和统计财产。在测试阶段，模型从Cu获取图像作为输入，以合成新图像。先前的方法试图1）转换类内信息[1]，2）通过将GANs与元学习[4][27]相结合来设计新的优化方案，以及3）融合给定的图像[14][15][12]以解决少镜头图像生成问题。
Parallel WaveGAN声码器训练代码详解
SUDA_CMH的博客
08-25 1145
本文主要介绍parallel wavegan声码器的源码
Griffin-Lim、Parallel WaveGAN以及MelGAN的区别
05-31
Griffin-Lim、Parallel WaveGAN和MelGAN都是音频信号处理领域中的算法和模型，但它们的应用场景和技术原理有所不同。 Griffin-Lim是一种基于迭代算法的音频信号重构方法，通常用于将线性频谱转换为时域波形。它是一种传统的音频信号处理方法，其主要优点是可以在一定程度上恢复原始音频信号，但由于其迭代算法的复杂度较高，因此在实际应用中较少使用。 Parallel WaveGAN和MelGAN都是基于生成式对抗网络（GAN）的音频生成模型，能够生成逼真的音频信号。Parallel WaveGAN通过使用多个并行的生成器和判别器来提高训练效率，并且采用了判别器多尺度特征提取的方式来提高生成器的稳定性。MelGAN则采用了一种基于Mel频谱的生成器和判别器结构，并且引入了频谱归一化和判别器多层感知机的技巧来提高生成器的质量和稳定性。 总的来说，Griffin-Lim适用于音频信号重构任务，而Parallel WaveGAN和MelGAN适用于音频信号生成任务。Parallel WaveGAN和MelGAN相比，前者采用了多个并行的生成器和判别器来提高训练效率，后者则采用了一种基于Mel频谱的生成器和判别器结构，并且引入了频谱归一化和判别器多层感知机的技巧来提高生成器的质量和稳定性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值