第四章 神经网络声码器

已于 2025-01-14 09:46:24 修改
阅读量1.3k 收藏 26
点赞数 18
分类专栏： 声码器 文章标签： 神经网络 人工智能 深度学习 语音合成 声码器
于 2025-01-12 23:04:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shichaog/article/details/145096021
版权

第四章 神经网络声码器

初代神经声码器WaveNet

WaveNet 是DeepMind 提出的一种深度学习声码器，2016 年 9 月的一篇论文中进行了概述[1]，旨在能够直接从原始音频数据生成语音。WaveNet 最初是为了改进传统的文本到语音（TTS）系统的语音质量提出的，其采用卷积神经网络生成音频波形，实现了比传统方法更自然的声音。WaveNet 的主要挑战在于需求巨大的计算资源，这使得它在实际应用中受到了限制。

在这里插入图片描述
为了解决 WaveNet 高计算成本的问题，后续研究推出了更加高效的模型，如 Parallel WaveNet、WaveRNN [2]和 WaveGrad[3]。

2018 年谷歌提出了针对实时语音合成优化的神经声码器模型WaveRNN， WaveRNN 的主要目的是在保留 WaveNet 模型高音质特性的同时，显著降低其计算复杂度，以适应实时处理的需求。

WaveRNN 推广使用单一循环神经网络（RNN），与 WaveNet 的多层卷积网络相比，WaveRNN 使用 LSTM 或 GRU 单元来捕捉长期依赖关系，这种简化的神经网络架构来减少计算需求，并有效地生成连续音频样本，这在计算和内存使用上都比 WaveNet 更高效。

WaveRNN 引入了一个技术，将网络分成两个较小的部分，分别负责处理高位和低位的随机变量。这种分拆大大减少了模型的参数数量和复杂度。

这里的WaveNet、WaveRNN以及

最低0.47元/天 解锁文章
【深度学习】声码器（Vocoder），Vocos 论文
q742971636的博客
07-29 760
近年来，神经声码器的进展主要由在时域中操作的生成对抗网络（GANs）驱动。尽管这种方法有效，但它忽视了时频表示所提供的归纳偏置，导致了冗余和计算密集的上采样操作。基于傅里叶的时频表示是一种有吸引力的替代方法，它更准确地与人类听觉感知对齐，并受益于为其计算而建立的快速算法。然而，复杂值谱图的直接重构一直存在问题，主要由于相位恢复问题。本研究旨在通过提出Vocos模型来弥合这一差距，该模型直接生成傅里叶频谱系数。
人工神经网络理论设计及应用课后题答案
shirley67269的博客
10-17 1039
我想这可能是你想要的神经网络吧！什么是神经网络：人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
2024-05-13 问AI: 介绍一下 google wavenet 声码器
baidu_24377669的博客
05-13 1096
然而，WaveNet也存在一些挑战和限制。其次，WaveNet对训练数据的质量和数量有较高的要求，因为高质量的音频数据对于生成高质量的音频信号至关重要。值得注意的是，随着时间的推移，Wavenet 的一些变种和改进版本也被提出，如 WaveGlow 和 FastSpeech 等，它们在 Wavenet 的基础上进行了优化和改进，进一步提高了语音合成的质量和效率。尽管存在这些限制，WaveNet 仍然是一项具有重要意义的技术创新，它为语音合成领域带来了新的发展机遇，并在许多应用中得到了广泛的关注和应用。
语音合成（TTS)论文优选:神经网络声码器对比A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction
低调奋进
11-28 926
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 A Comparison of Recent Neural Vocoders for Speech Signal Reconstruction 本文章是德国埃尔兰根Fraunhofer IIS2019发表的文章，文章主要对近几年比较流行的声码器进行实验对比，为相关从业者和研究者提供参考（个人感觉这种分享经验的文章很有意义，为其它研究
【深度学习】自然语言处理（NLP）-语音识别-WaveNet
最新发布
IT古董
02-21 1487
WaveNet 是由 DeepMind 提出的一个 深度神经网络模型，用于生成高质量的音频波形，尤其擅长于语音合成、音乐生成以及音效合成等任务。它是通过 自回归模型 来生成波形样本，即基于当前的输入生成下一个输出，从而生成连贯的音频信号。WaveNet 的设计不仅突破了传统的语音合成技术，还展示了神经网络在音频处理领域的巨大潜力，特别是它在生成自然、逼真的语音和音乐方面的表现。
神经网络声码器
林宋的搬砖流水账
03-21 2458
文章目录ParallelWaveGan背景改进点HiFiGan背景改进点iSTFTNet ParallelWaveGan PWG论文链接 LINE和NAVER公司合作提出的 背景 motivation：对Wavenet自回归网络的改进，实现非自回归的vocoder 改进点 生成器multi-resolution STFT loss：多粒度是指不同的FFT size, window size, and frame shift，让模型建模到时间长度的的特征。 判别器：整体的对抗判别loss HiF
ParallelWaveGAN: 快速高效的神经声码器
m0_75126181的博客
10-22 793
ParallelWaveGAN是一种基于生成对抗网络(GAN)的神经声码器,由日本名古屋大学的研究人员于2019年提出。它是一种非自回归的波形生成模型,可以实现快速高效的语音合成。生成速度快,可以实现实时语音合成计算复杂度低,对硬件要求不高生成音质好,可以产生自然流畅的语音ParallelWaveGAN的核心思想是使用GAN的框架来训练一个非自回归的WaveNet模型。生成器采用了类似WaveNet的dilated卷积网络结构,但去掉了自回归连接,实现了并行生成。
wavegrad:快速，高质量的神经声码器
04-13
WaveGrad WaveGrad是Google Brain的人员设计的一种快速，高质量的神经声码器。 描述了该体系结构。 简而言之，该模型采用对数比例的梅尔频谱图，并通过迭代精化将其转换为波形。 状态（2020-10-15） 稳定训练（22 kHz，24 kHz） 高质量合成 混合精度训练 多GPU训练 自定义噪声时间表（更快的推断） 命令行推断 程序推理API PyPI包 音频样本 预训练模型 预先计算的噪声时间表 音频样本 预训练模型 （183 MB，SHA256： 65e9366da318d58d60d2c78416559351ad16971de906e53b415836c068e335f3 ） 安装 使用pip安装： pip install wavegrad 或从GitHub： git clone https://github.com/lmnt-com
diffwave:DiffWave是一种快速，高质量的神经声码器和波形合成器
05-02
差异波 DiffWave是一种快速，高质量的神经声码器和波形合成器。 它以高斯噪声开始，并通过迭代细化将其转换为语音。 可以通过提供条件信号（例如，对数比例的梅尔频谱图）来控制语音。 有关模型和体系结构的详细信息，请 。 新增功能（2021-04-01） 基于DiffWave论文v3的快速采样算法 新增功能（2020-10-14） 新的预训练模型经过了1M步的训练 使用新模型的输出更新了音频样本 状态（2021-04-01） 快速推断程序 稳定训练 高质量合成 混合精度训练 多GPU训练 命令行推断 程序推理API PyPI包 音频样本 预训练模型 无条件波形合成 非常感谢 （DiffWave的主要作者）提供的指针和错误修复。 音频样本 预训练模型 （31 MB，SHA256： d415d2117bb0bba3999afabdd67ed11d9e43400af2
第三章 WORLD 声码器
shichaog的专栏
01-12 1038
WORLD Vocoder由日本学者开发，主要用于提高音频信号处理时音质的保真度，通过对传统的Vocoder方法进行改良，提供更加清晰的语音合成效果，常用于语音研究和音乐制作，其优点在于可以用在实时系统上，在算力和效果上做了很好的平衡。谱分析（Spectral Analysis），谱分析是用来从语音信号中提取声谱特征的技术。它涉及到将语音信号分解为一系列的频率组成部分，以便于更细致地理解和处理这些成分。
神经网络控制器设计原理,神经网络控制系统设计
aifamao6的博客
09-16 2312
神经网络控制技术是一项复杂的系统控制技术，一般应用在变频器的控制中，它是通过对系统的辨识、运算后对变频器进行控制的一种新技术。而且神经网络控制可以同时控制多个变频器，所以应用在多个变频器级联控制中比较合适。
parallel-wavenet-vocoder:基于WaveNet的声码器可进行快速推理
05-14
并行WaveNet声码器 概述 这是一个实验项目，建立了一个基于WaveNet的声码器，该声码器在论文的启发下将梅尔频谱图并行转换为原始波。 由于非自回归模型之一的的结构，我们能够并行生成顺序数据。 由于在最大似然估计中无法直接直接对IAF模型进行优化，从而无法找到合适的最优值，因此难以一概而论，因此，本文引入了一种替代方法，即概率密度蒸馏。 它预先训练原始的WaveNet（教师），然后通过最小化两个概率之间的KL差异来优化IAF模型（学生）以对相似的输出概率进行建模。 如果再想一想，我们可以得出结论，“自回归”损失被强加给IAF模型，IAF模型本身就是非自回归模型。 这意味着，在训练序列生成模型时，“自回归”约束仍然是关键。 为了优化模型，我只尝试了简单模型（MLE），因为我对设计替代模型的动机感到好奇。 总之，在我的案例中，在没有自回归约束的情况下优化IAF模型几乎是不可行的。
WaveNet论文
11-22
This paper introduces WaveNet, a deep neural network for generating raw audio waveforms. The model is fully probabilistic and autoregressive, with the predic- tive distribution for each audio sample conditioned on all previous ones; nonethe- less we show that it can be efficiently trained on data with tens of thousands of samples per second of audio. When applied to text-to-speech, it yields state-of- the-art performance, with human listeners rating it as significantly more natural sounding than the best parametric and concatenative systems for both English and Mandarin. A single WaveNet can capture the characteristics of many different speakers with equal fidelity, and can switch between them by conditioning on the speaker identity. When trained to model music, we find that it generates novel and often highly realistic musical fragments. We also show that it can be employed as a discriminative model, returning promising results for phoneme recognition.
google_wavnet
04-04
如何使用Google Cloud Text-To-Speech API 下载Google Cloud SDK 安装Google Cloud SDK ./google-cloud-sdk/install.sh “修改个人资料以更新$ PATH并启用bash完成吗？” 是的 输入以下路径进行修改：/Users/YOUR_USERNAME/.bashrc 初始化Google Cloud SDK ./google-cloud-sdk/bin/gcloud init 更新Google Cloud SDK的PATH 来源/Users/YOUR_USERNAME/google-cloud-sdk/path.zsh.inc 为gcloud启用zsh完成 来源/Users/YOUR_USERNAME/google-cloud-sdk/completion.zsh.inc 在GCP上激活NLP
HiFi-GAN——基于 GAN 的声码器，能在单 GPU 上生成 22 KHz 音频
知来者逆的博客
07-18 2135
本研究中的 HiFiGAN 是一种基于 GAN 的生成模型，它可以来源具体来说，它由一个发生器和两个判别器组成：多周期判别器（MPD）和多尺度判别器（MSD）。本文介绍了有关 HiFiGAN 的研究，这是一种用于高效、高质量语音合成的 GAN 模型。本研究有三个局限性是否适用于更多的说话者和语言还不得而知。嗓音的情感和节奏表现力尚未得到充分测试。尚未对有限计算资源环境下的语音合成性能进行评估。
详解WORLD声码器
Barbara‘s Blog
11-12 6992
声码器（英语：Vocoder，发音： /ˈvoʊkoʊdər/），源自人声编码器（英语：voice encoder）的缩写，又称语音信号分析合成系统，对声音进行分析与合成的系统，主要应用于合成人类语音。Analysis分析、Manipulation操作与Synthesis合成。Analysis分析过程主要是指从一段原始声音波形中提取声学特征如线性谱、低频、MFCC；Manipulation操作过程是指对提取出的原始声学特征进行压缩等降维处理，使其表征能力进一步提升；
神奇的WaveNet
MusicDancing的博客
11-17 490
1122
自回归生成网络--WaveNet
你这个代码我看不懂的博客
03-31 4374
WaveNet取代了对音频信号使用傅里叶变换的传统方法。它通过令神经网络找出要执行的转换来实现。因此，转换可以反向传播，原始音频数据可以通过一些技术来处理，例如膨胀卷积、8位量化等。但是人们一直在研究将WaveNet方法与传统方法相结合的方式，尽管该方式将损失函数转换为多元回归的损失函数而不是WaveNet所使用的分类。 WaveNet的基本构建模块是膨胀卷积，它取代了RNN获取上下文信息的功能 下图展示了WaveNet在进行预测时如何提取有关上下文的信息。图片的底部是输入，这是原始音频样本。例如，一个16
WaveNet时间序列模型（基于GluonTs包）
qq_20144897的博客
10-25 2532
WaveNet时间序列模型的训练，基于GluonTs包，并展示如何使用optuna包对模型进行调优
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shichaog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值