语音合成论文优选：Fre-GAN: Adversarial Frequency-consistent Audio Synthesis

最新推荐文章于 2024-07-30 14:34:55 发布
最新推荐文章于 2024-07-30 14:34:55 发布
阅读量625 收藏 2
点赞数
分类专栏： 语音合成论文 文章标签： 语音识别 人工智能 深度学习 机器学习 tts
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liyongqiang2420/article/details/118675246
版权

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要对文章简略概括。如有转载，请标注来源。

欢迎关注微信公众号：低调奋进

低调奋进迎来新的伙伴加入，本文由迎风飞扬进行文章的分享，欢迎更多伙伴的加入。

​

Fre-GAN: Adversarial Frequency-consistent Audio Synthesis

此篇文章是Department of Artificial Intelligence, Korea University, Seoul, Korea在2021.6.6日发表的文章，主要是在HifiGAN的基础上，改进了生成器和判别器，可以提高生成语音的MOS值。具体文章链接 https://arxiv.org/abs/2106.02297

1、研究背景

尽管最近的声码器已经极大的提升了合成语音的音质，但是与GT相比在频谱上仍然存在gap。这样的一种差别就会导致 spectral artifacts 比如说hissing noise or robotic sound, 从而会导致音质的下降.

为此，提出了FreGAN，它可以输出高质量的音频，与GT相比在MOS上只有0.03的差别。

2、详细设计

FreGAN采用了 RCG(resolution-connected generator) 和 resolution-wise discriminators 来学习频谱上的不同频段。由于传统的下采样方法（比如average pool）忽略了高频部分，为此作者采用了DWT（离散小波变换）保留了所有的信息并且保持了正交性。

生成器

与HiFiGAN不同的是，作者采用了RCG

最低0.47元/天 解锁文章
我叫永强
关注
专栏目录
AudioSynthesis:用于声音合成演示的 CoreAudio
06-13
音频合成 使用声音合成演示 使用库的四通道音频音调发生器
Fre-gan: Adversarial frequency-consistent audio synthesis
林宋的搬砖流水账
02-10 158
神经网络声码器在面对频率域真实谱和生成谱的不同时，会产生比如嘶嘶声，回声等噪音。本文的Fre-GAN可以完成更高质量的合成：（1）提出resolution-connected generator和resolution-wise discriminator，有助于在多个频带中学习多样的谱分布。（2）在判别器中使用离散小波变换代替average pooling作为降采样的方法，因为DWT可以确保所有的信息被保留，而AP会洗掉一些高频的成分。
HiFi-GAN——基于 GAN 的声码器，能在单 GPU 上生成 22 KHz 音频
知来者逆的博客
07-18 1266
本研究中的 HiFiGAN 是一种基于 GAN 的生成模型，它可以来源具体来说，它由一个发生器和两个判别器组成：多周期判别器（MPD）和多尺度判别器（MSD）。本文介绍了有关 HiFiGAN 的研究，这是一种用于高效、高质量语音合成的 GAN 模型。本研究有三个局限性是否适用于更多的说话者和语言还不得而知。嗓音的情感和节奏表现力尚未得到充分测试。尚未对有限计算资源环境下的语音合成性能进行评估。
Fre-GAN: Adversarial Frequency-consistent Audio Synthesis
m0_61810204的博客
03-18 1447
本文提出了名为"Fre-GAN"的方法，用于改善神经声码器生成的音频质量。尽管近期的神经声码器研究已经提高了合成音频的质量，但在频率空间仍存在生成音频与实际音频之间的差距。这种差异导致了频谱异响，如嘶嘶声或混响等，并且降低了样本的质量。该方法首先提出了频率连接的生成器和分辨率逐层鉴别器，这有助于在多个频带上学习各种尺度的频谱分布。此外，为了精确重现高频组件，他们在鉴别器中利用了离散小波变换。
论文学习——HiFi-GAN: Generative Adversarial Networks for Efficient and High Fidelity Speech Synthesis
Blackoutdragon的博客
07-18 2256
* 这篇文章，是《CONDITIONAL SOUND GENERATION USING NEURAL DISCRETE TIME-FREQUENCY REPRESENTATION LEARNING》主要应用到的三个技术之一，我正在复现这篇文章，然后需要了解HiFi-GAN技术，续哦一就翻译了这篇文章。 * 这篇文章是2020年的，近三年的文章，是Conference on Neural Information Processing Systems (NeurIPS 2020),这个会议也是人工智能领域的顶会
FRE-NCtools-container:用于测试FRE-NCtools的容器
03-12
FRE-NCtools-容器 用于的CI测试的配方文件和关联的容器。 容器基于Ubuntu Focal，并包含构建和运行FRE-NCtools测试套件所需的所有库。 支持 目前，此存储库中的容器用于内部测试。 不建议在此目的之外使用容器。 ...
fre:ac - free audio converter:各种格式的音频转换器和 CD 开膛手-开源
05-29
fre:ac 是一个免费的音频转换器和 CD 翻录器，适用于各种格式和编码器。 它具有 MP3、MP4/M4A、WMA、Ogg Vorbis、FLAC、AAC 和 Bonk 格式支持，集成了 freedb/CDDB、CDText 和 ID3v2 标记，并提供多种语言版本。
fre:ac - free audio converter:各种格式的音频转换器和CD开膛手-开源
05-12
fre：ac是免费的音频转换器和CD开膛手，适用于各种格式和编码器。 它具有MP3，MP4 / M4A，WMA，Ogg Vorbis，FLAC，AAC和Bonk格式支持，集成了freedb / CDDB，CDText和ID3v2标记，并且支持多种语言。
录音音质差听不清？普林斯顿提出新算法HiFi-GAN或许可以帮上忙
AI 数据库me
10-13 1109
近日，普林斯顿大学的研究人员开发了一种新算法HIFI-GAN，可以将低质量的录音转换为高质量的录音室音质音频。 以往的人工智能音频处理方法通常只能改善录音音质的某一方面，如过滤背景噪音或去除混响，而这种新方法是一种多功能工具。 “先前的方法主要集中在改善录音的可懂度，但就改善音质来说并不是很有优势”，论文的第一作者Jiaqi Su说。研究人员希望将他们的框架应用于实现完全自动化的实时语音增强。 新算法HIFI-GAN可以提升音频的音质 HIFI-GAN使用深度学习的关键工具人工神经网络，可以模拟生物神经元
hifi-gan:高保真
03-19
HiFi-GAN：高效，高保真语音合成的生成对抗网络 姜俊il，金在贤，裴在京 在我们的，我们提出了HiFi-GAN：一种能够有效生成高保真语音的基于GAN的模型。我们在此存储库中将实现和预训练的模型作为开源提供。 摘要：最近有关语音合成的一些工作已经采用了生成对抗网络（GAN）来生成原始波形。尽管此类方法提高了采样效率和内存使用率，但其采样质量尚未达到自回归和基于流的生成模型的质量。在这项工作中，我们提出了HiFi-GAN，它可以实现高效和高保真语音合成。由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模对于提高采样质量至关重要。对单个扬声器数据集的主观人工评估（平均意见得分，MOS）表明，我们提出的方法证明了与人类质量的相似性，同时在单个V100 GPU上生成实时音频的22.05 kHz高保真音频的速度比实时速度快167.9倍。我们进一步展示了HiFi-GA
HiFi-GAN:HiFi-GAN
05-03
HiFi-GAN：高效，高保真语音合成的生成对抗网络 非官方PyTorch实现。 HiFi-GAN： 先决条件 在Python 3.6上测试 pip install -r requirements.txt 准备数据集 下载数据集进行培训。 这可以是任何采样率为22050Hz的wav文件。 （例如，在纸上使用了LJSpeech） 预处理： python preprocess.py -c config/default.yaml -d [data's root path] 编辑配置yaml文件 火车和张量板 python trainer.py -c [config yaml file] -n [name of the run] cp config/default.yaml config/config.yaml ，然后编辑config.yaml 将训练/验证文件的根路径写下到第二/第三行。
hifi_gan
02-08
注意：我（@zachwe）没有创建此项目，因此不值得给予任何荣誉。 此配套的全部功劳应归功于Jungil Kong，Jaehyeon Kim，Jaekyoung Bae。 非常感谢他们创建了如此出色的声码器。 我所做的只是打包它，以使其更易于使用。 HiFi-GAN：高效，高保真语音合成的生成对抗网络 江，金在贤，在京裴 在我们的，我们提出了HiFi-GAN：一种能够有效生成高保真语音的基于GAN的模型。 我们在此存储库中将我们的实现和预训练的模型作为开源提供。 摘要：最近有关语音合成的一些工作已经采用了生成对抗网络（GAN）来生成原始波形。 尽管此类方法提高了采样效率和内存使用率，但其采样质量尚未达到自回归和基于流的生成模型的质量。 在这项工作中，我们提出了HiFi-GAN，它可以实现高效和高保真语音合成。 由于语音音频由具有不同周期的正弦信号组成，我们证明了对音频的周期性模式进行建模
HIFI-Gan：generative adversarial Networks for Efficient and high Fidelity speech synthesis
学-> 思->用
01-18 2033
文章目录摘要前言hifi-gan 摘要 提出HIFI-gan方法来提高采样和高保真度的语音合成。语音信号由很多不同周期的正弦信号组成，对于音频周期模式进行建模对于提高音频质量至关重要。其次生成样本的速度是其他同类算法的13.4倍，并且质量还很高。 前言 主流的语音合成大部分分为两个阶段：1）预测低分辨率的中间表示，例如梅尔声谱图或语言特征，从中间表示合成原始波形音频。HIFI-gan主要是解决第二阶段的问题，从梅尔声谱图到高保真度的波形文件。 wavenet是一种自回归卷积神经网络，合成高质量的音频的效率
音频模型_HiFiGAN源码解析1
最新发布
disanda的专栏
07-30 653
HiFiGAN 解析
2021年6月100篇GAN/对抗论文汇总
idol24的博客
07-07 784
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！等你着陆！【GAN生成对抗网络】知识星球超100篇！CVPR 2020最全GAN论文梳理！2021年5月80篇GA...
【飞桨PaddleSpeech语音技术课程】— 一句话语音合成全流程实践
小湉湉的博客
10-31 5019
【飞桨PaddleSpeech语音技术课程】— 一句话语音合成全流程实践
语音合成论文优选：基于GAN声码器的成功原因？GAN Vocoder: MRD Is All You Need
低调奋进
03-12 1410
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 GAN Vocoder: Multi-Resolution Discriminator Is All You Need 本文是MoneyBrain Inc公司在2021.03.09更新的文章，主要分析最近基于GAN声码器媲美回归模型或者flow-based的声码器的原因，具体文章链接 https://arxiv.org/pdf/2103.0
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我叫永强

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值