Fre-gan: Adversarial frequency-consistent audio synthesis

最新推荐文章于 2024-09-25 20:32:29 发布
最新推荐文章于 2024-09-25 20:32:29 发布
阅读量158 收藏
点赞数
分类专栏： paper笔记 文章标签： 生成对抗网络 深度学习
原文链接：https://arxiv.org/abs/2106.02297
版权
  • interspeech202
  • Korea University
  • Ji-Hoon Kim

abstract

  • 神经网络声码器在面对频率域真实谱和生成谱的不同时，会产生比如嘶嘶声，回声等噪音。
  • 本文的Fre-GAN可以完成更高质量的合成：（1）提出resolution-connected generator和resolution-wise discriminator，有助于在多个频带中学习多样的谱分布。（2）在判别器中使用离散小波变换代替average pooling作为降采样的方法，因为DWT可以确保所有的信息被保留，而AP会洗掉一些高频的成分。

intro

在这里插入图片描述

  • 该图证明降采样过程中使用DWT比AP损失的高频信息少。

Fre-GAN

Resolution-connected Generator（RCG）

在这里插入图片描述

  • 生成器输入mel-spec，输出采样点，结构：上采样卷积，不同上采样率的top-K输出求和，得到最终预测的输出；通过使用Nearest Neighbor (NN) upsampler，可以消除上采样卷积带来的tonal artifacts；
  • RCG结构的优点：（1）不同分辨率的波形求和可以捕捉不同层级的谱分布；有助于模型学到multi-frequency band的谱特征（2）RCG是一种渐进式学习的方法，先学习简单的，再学习难的，有助于模型训练加速和稳定。
林林宋
关注
专栏目录
语音合成论文优选：Fre-GAN: Adversarial Frequency-consistent Audio Synthesis
低调奋进
07-12 625
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要对文章简略概括。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 低调奋进迎来新的伙伴加入，本文由迎风飞扬进行文章的分享，欢迎更多伙伴的加入。 ​ Fre-GAN: Adversarial Frequency-consistent Audio Synthesis 此篇文章是Department of Artificial Intelligence, Korea University, Seoul, Korea在2021
Fre-GAN: Adversarial Frequency-consistent Audio Synthesis
m0_61810204的博客
03-18 1447
本文提出了名为"Fre-GAN"的方法，用于改善神经声码器生成的音频质量。尽管近期的神经声码器研究已经提高了合成音频的质量，但在频率空间仍存在生成音频与实际音频之间的差距。这种差异导致了频谱异响，如嘶嘶声或混响等，并且降低了样本的质量。该方法首先提出了频率连接的生成器和分辨率逐层鉴别器，这有助于在多个频带上学习各种尺度的频谱分布。此外，为了精确重现高频组件，他们在鉴别器中利用了离散小波变换。
（2022，FreGAN）利用频率分量在有限数据下训练 GAN
qq_44681809的博客
05-28 1139
GAN 在拟合数据分布时，往往倾向于拟合低频信息而忽略高频信息。本文提出了一种称为 FreGAN 的频率感知模型，以提高 G 和 D 的频率感知能力。通过鼓励 G 生成更合理高频信号，从而提高有限数据下的合成性能。
F-GAN更高一层看GAN
liangwqi的博客
12-05 911
今天介绍一篇比较经典的工作，作者命名为f-GAN，他在文章中给出了通过一般的ff散度来构造一般的GAN的方案。可以毫不夸张地说，这论文就是一个GAN模型的“生产车间”，它一般化的囊括了很多GAN变种，并且可以启发我们快速地构建新的GAN变种（当然有没有价值是另一回事，但理论上是这样）。 局部变分# 整篇文章对ff散度的处理事实上在机器学习中被称为“局部变分方法”，它是一种非常经典且有用的估算...
AI拟声: 5秒内克隆您的声音并生成任意语音内容
热门推荐
sikh_0529的博客
09-18 2万+
特征🌍支持普通话并测试了多个数据集：aidatatang_200zh、magicdata、aishell3、data_aishell等。🤩为 pytorch 工作，在 1.9.0 版本中测试（最新于 2021 年 8 月），GPU Tesla T4 和 GTX 2060🌍在 Windows 操作系统和 linux 操作系统中运行（甚至在 M1 MACOS 中）🤩 通过重用预训练的编码器/声码器，只需新训练的合成器即可获得🌍通过远程调用为您提供结果。
Mockingbird_替换vocoder为Fre-GAN
qq358660877的博客
04-16 60
一.参考论文以及项目源码 1.知乎网址：语音合成论文优选：Fre-GAN: Adversarial Frequency-consistent Audio Synthesis 2.github项目源码：二.移植模块具体代码 1.vocodr_train.py中：选择需要训练的预训练模型 2.fregan/train.py和meldataset中： (1)导入文件作相应修改 (2)对照hifigan...
MockingBird - 实时语音克隆 中文/普通话
AI + 工程
08-04 1008
一、关于 MockingBird 特性 二、安装 1、通用配置 2、M1芯片Mac环境配置（Inference Time) 2.1 安装`PyQt5` 2.2 安装`pyworld`和`ctc-segmentation` 2.3 安装其他依赖 2.4 运行 三、准备预训练模型 1、使用数据集自己训练encoder模型 (可选) 2、使用数据集自己训练合成器模型（与2.3二选一） 3、使用社区预先训练好的合成器（与2二选一） 4、训练声码器 (可选) 四、启动程序或工具箱 1、启动Web程序（v2）： 2、启
FRE-NCtools-container:用于测试FRE-NCtools的容器
03-12
FRE-NCtools-容器 用于的CI测试的配方文件和关联的容器。 容器基于Ubuntu Focal，并包含构建和运行FRE-NCtools测试套件所需的所有库。 支持 目前，此存储库中的容器用于内部测试。 不建议在此目的之外使用容器。 ...
TOAD-GAN: 一个基于令牌的程序内容生成算法
10第十六届AAAI人工智能和交互式数字娱乐会议（AIIDE-20）TOAD-GAN：从单个示例生成连贯的风格水平Maren Awiszus，Frederik Schubert，Bodo Rosenhahn德国汉诺威莱布尼茨大学信息学院{awiszus，schubert，rosenhahn}...
DM-GAN：文本到图像合成中的动态记忆生成对抗网络
15802DM-GAN：用于文本到图像合成的朱敏峰1，3潘平波3陈伟1杨毅2，3†1浙江大学CAD CG国家重点实验室2百度研究3悉尼科技大学人工智能中心{朱敏峰@，陈伟@cad}zju.edu.cn{平波.潘@学生，杨毅@}uts.edu.au摘要这只小鸟...
论文笔记-ExGAN: Adversarial Generation of Extreme Samples
Lyndsey的博客
11-10 464
Hello，今天是论文阅读计划的第四天啦。 有一个小尴尬的事情是，我最近比较熟悉的论文差不多也写上来了，相当于脑子里没什么可以直接输出的论文啦，有些要么是只读了最基本的没去研究方法的论文，有些要么是很早之前看了却有点忘了。 对此呢，也得作出调整才好呀。我这个论文阅读计划的初衷就是想让自己首先能保持论文阅读的习惯，其次是能拓展下视野，不要局限在了自己这个小方向中，想要做出好的论文，只看自己这个领域的论文是远远不够的。 我也是在与自己想要“完美”做斗争，总觉得如果只看了一篇论文的大概，并没有完全理解别人方法的时
ResNet残差网络：深度学习的里程碑
最新发布
2401_84670644的博客
09-25 1335
ResNet残差网络作为深度学习的里程碑之一，通过引入残差学习和残差块的设计，解决了深层网络训练中的梯度问题，并显著提高了模型的精度和训练速度。ResNet的成功不仅推动了深度学习领域的发展，也为后续的研究提供了宝贵的经验和启示
[论文总结] 深度学习在农业领域应用论文笔记13
You and Me
09-25 1143
这篇论文的立意是从实际出发的，与很多根据卫星图像来预测产量的文章不同，该研究的目的强调了不是产量预测而是提出使用棉花种植区块产量和纤维质量（长度和微米）数据来说明作物生产数据的缩小区域观测的通用方法。在实验数据方面，采用了澳大利亚11个种植区域2年生长季节260天的生长数据，8种不同植被指数、32个协变量和棉花的产量和棉纤维微米（质量）以及总共有约25张卫星图像可用于 NNSW区域，约70 张图像可用于SNSW区域。数据量挺大的，做的内容也具有实际意义。挺好的一篇文章。
深度学习：残差网络(ResNet)的原理及优缺点
mohanyelong的博客
09-25 1747
深度学习：残差网络(ResNet)的原理及优缺点
基于深度学习的多智能体协作
weixin_42605076的博客
09-23 1025
基于深度学习的多智能体协作是一种通过多个智能体相互协作完成复杂任务的框架，利用深度学习技术来优化智能体之间的合作与决策过程。多智能体系统广泛应用于自动驾驶、机器人群体、游戏AI、资源调度、无人机编队等领域，其中每个智能体通常具有自主性，并与其他智能体共享信息或协同工作，以共同实现全局目标。
在深度学习中，是否应该打破正负样本1:1的迷信思想？
Angelina_Jolie的博客
09-25 744
如果任务很简单（如上图第一行的数据分布，线性可分） ，那么即便有很悬殊的正负样本数量比例（如最右侧，正负样本 1:100），也不影响模型可以直接在原始数据上学习得到一个完美的分类边界，并实现 0 错误率：见下图第一行，即使 IR=100 模型也可以实现 0 分类错误（分类错误的 sample 由红色表示）。但通常我们都更加关心少数类样本（positive cases，例如医疗诊断中的病人、欺诈/攻击检测中的恶意用户等）并使用 balanced accuracy，macro-f1 等 metric。
cnn机器学习时python版本不兼容报错
所念皆星河
09-22 211
A module that was compiled using NumPy 1.x cannot be run in NumPy 2.1.1 as it may crash. To support both 1.x and 2.x versions of NumPy, modules must be compiled with NumPy 2.0. Some module may need to rebuild instead e.g. with 'pybind11>=2.12'.
深度学习：神经网络--手写数字识别
纸上得来终觉浅
09-22 1860
神经网络--手写数字识别
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值