尝试nvidia的Tacotron-2和waveglow的结合, 并且着重考虑多GPU以及inference时的性能.

最新推荐文章于 2021-12-23 16:37:53 发布
最新推荐文章于 2021-12-23 16:37:53 发布
阅读量1.3k 收藏 1
点赞数
分类专栏： 研二-语音合成 研二-Maybe 文章标签： 语音合成 英伟达 Tacotron-2 GPU分布式 inference加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/101935175
版权
该博客探讨了如何整合NVIDIA的Tacotron-2和WaveGlow用于语音合成功能，重点关注在多GPU环境下的性能优化和推理加速。内容包括NVIDIA提供的模型脚本链接、Docker使用指南以及模型推断时的注意事项，如启用eval模式以确保一致性。此外，文章讨论了如何优化代码结构、恢复学习率以及在推理过程中实现分布式计算的挑战。
摘要由CSDN通过智能技术生成

https://ngc.nvidia.com/catalog/model-scripts/nvidia:tacotron_2_and_waveglow_for_pytorch

https://ngc.nvidia.com/catalog/model-scripts/nvidia:tacotron_2_and_waveglow_for_pytorch/quickStartGuide

https://www.jianshu.com/p/4905bf8e06e5

model = TheModelClass(*args, **kwargs)
 model.load_state_dict(torch.load(PATH))
 model.eval()

记住，您必须调用model.eval()，以便在运行推断之前将dropout和batch规范化层设置为评估模式。如果不这样做，将会产生不一致的推断结果。

https://github.com/NVIDIA/nvidia-docker/wiki/nvidia-docker#gpu-isolation

<
最低0.47元/天 解锁文章
ruclion
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Tacotron2 NVIDIA版本优化停顿问题之Biao-Bei数据PhonePrssCrystal
ruclion的专栏
10-17 1023
目录尚未补充完整!!!预处理数据bash脚本'/r'错误仿LJS预处理提取mel改代码启动docker训练合成第一次实验失败--更正先测试问题问题1问题2问题3 尚未补充完整!!! 预处理数据 bash脚本 '/r’错误 sed -i 's/\r$//' filename 整个文件夹 for i in *;do if [[ -f $i ]]; then sed 仿LJS预处理 下载, 解压, 重采...
Nvidia jetson-inference Hello AI World Networks Packages — SSD-Inception-v2.zip
05-18
在当今的AI领域，Nvidia Jetson系列硬件平台以其强大的计算性能和低功耗特性，成为了嵌入式人工智能开发的首选。Jetson-inference是Nvidia提供的一套用于图像识别、目标检测等计算机视觉任务的软件工具包，它简化了...
waveglow.zip
03-10
waveglow mel频谱和自带模型
Tacotron2 Inference教程
mathor的博客
10-24 1661
目录结构 本教程实验环境为Google Colab，文件目录结构如下 ALL └── tacotron2 ├── audio_processing.py ├── checkpoint_269000 ├── data_utils.py ├── demo.wav ├── distributed.py ├── Dockerfile ├── filelists │ ├── ljs_audio_text_test_filelist.txt │
Waveglow
LiuPig
12-23 2043
Github waveglow gitbuh link WaveGlow 用于语音合成的基于流的生成网络 一种基于流的网络，能够从梅尔谱图生成高质量的语音。WaveGlow 结合了Glow和WaveNet 的见解，以提供快速、高效和高质量的音频合成，无需自动回归。WaveGlow 仅使用单个网络实现，仅使用单个成本函数进行训练：最大化训练数据的可能性，这使得训练过程简单稳定。 我们的PyTorch实现在 NVIDIA V100 GPU 上以 1200 kHz 的速率生成音频样本。平均意见得分表明，它.
研究英伟达Tacotron-2的精度潜力
ruclion的专栏
10-25 565
AMP精读问题 单核训练WaveGlow效果最好. 为什么? 复现单核WaveGlow 用Biao-Bei First版本. 先跑跑看看amp和DDP的情况. git版本 NV_GPU='7' nvidia-docker run --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 -it --rm --ipc=host -v $PWD...
Nvidia jetson-inference Hello AI World Networks — DetectNet-COCO-Chair.zip
05-18
Jetson-Inference是Nvidia提供的一套用于图像识别和对象检测的库，它使得在Jetson设备上实现高性能的深度学习推理变得简单易行。本篇将深入探讨"Hello AI World"项目中的Nvidia jetson-inference，以及如何利用...
Nvidia jetson-inference Hello AI World Networks Packages — SSD-Mobilenet-v2.zip
05-18
《Nvidia Jetson Inference与Hello AI World：SSD-MobileNet-v2的探索》 在当今的AI领域，嵌入式计算平台如Nvidia Jetson系列扮演着至关重要的角色，它们为边缘计算提供了强大的硬件支持。Jetson Inference是Nvidia...
Nvidia jetson-inference Hello AI World Networks — DetectNet-COCO-Dog.zip
05-18
在当今的嵌入式计算领域，Nvidia Jetson系列模块以其强大的性能和低功耗特性，成为了人工智能应用的重要平台，特别是在计算机视觉和深度学习任务中。Jetson Inference是Nvidia为Jetson开发的一套工具包，它简化了在...
Nvidia jetson-inference Hello AI World Networks — FCN-Alexnet-Cityscapes-SD.zip
05-18
在本压缩包“Nvidia jetson-inference Hello AI World Networks — FCN-Alexnet-Cityscapes-SD.zip”中，包含的是一个针对Nvidia Jetson平台的深度学习推理库jetson-inference的示例应用，主要关注的是计算机视觉...
waveglow-vqvae:带有VQVAE的WaveGlow声码器
03-15
带有VQVAE的WaveGlow声码器 WaveGlow的Tensorflow实现和。 此实现包括多gpu和混合精度（尚不稳定）支持。 它高度基于github仓库： 。 此处使用的数据是和。 您可以在梅尔谱图或矢量量化表示形式中选择局部条件，还可以选择是否将说话人身份用作全局条件。 作为更多选项，实现了polyak平均，FiLM和权重归一化。 音频样本 LJ数据集 梅尔频谱图条件（原始WaveGlow）： ://drive.google.com/open id 1HuV51fnhEZG_6vGubXVrer6lAtZK7py9 VQVAE条件： ：//drive.google.com/open id 1xcGSelMycn2g-72noZH4vPiPpG0d7pZq VCTK语料库（语音转换） 它现在不能正常工作:( 来源（360）： : 目标（303）：
waveglow模型和mel频谱下载
02-13
waveglow模型下载
Waveglow_Inference_in_CUDA:C ++代码在cuda中运行waveglow推理
03-09
Waveglow_Inference_in_CUDA C ++代码可在CUDA中运行优化的推理，与，此实现比具有25％全精度提速，并且具有2.5-3倍的提速 默认情况下，在NVIDIA的Volta GPU上运行时，此代码将使用GPU的TensorCore 波浪光 NVIDIA Waveglow的Cuda C ++实现。 本文描述了基于流程的模型架构。 。 Waveglow是一种基于流的网络，能够从mel-specograms生成高质量的语音。 它结合了和见解，以提供快速，高效和高质量的音频合成，而无需自动回归。 WaveGlow仅使用单个网络来实现，仅使用单个成本函数进行训练：最大化训练数据的可能性，这使训练过程变得简单而稳定。 论文声称，在全精度（32位浮点）waveglow在V100上的500kHz的产生讲话，但通常它是关于与pytorch的实施和使用400-420kHz在全
waveglow 频谱和模型
03-10
waveglow自带频谱和模型，linux版本
Python-WaveGlow基于流的语音合成生成网络
08-09
A Flow-based Generative Network for Speech Synthesis
p0003-- WAVGLOW-A FLOW-BASED GENERATIVE NETWORK FOR SPEECH SYNTHESIS
林宋的搬砖流水账
12-28 897
abstract: 将Glow和WavNet结合生成WAVGLOW，不需要auto-regression，只需要一个网络，一个损失函数--最大化 训练集的似然，就可以将mel-spectrogram生成wav。可以生成500KHZ以上的采样率且性能超过wavnet，比实时快25倍。 introduction: 在人机交互任务中，好质量，实时的语音合成非常重要。语音合成需...
Tacotron2语音合成
cheetah的专栏
06-12 1507
Tacotron2是由Google Brain提出来的一个语音合成框架. 模型架构： 实验环境： 在Ubuntu16.04 Ubuntu16.04 GPU GeForce RTX 2080（单个GPU） TensorFlow1.15 cuda10.0 cudnn7.6.3下完成. github上有一个Tacotron-2的Tensorflow实现，地址 https://github.com/Rayhane-mamah/Tacotron-2 用上面的开源代码跑Ljspeech数据集,tacotron_tra
论文阅读 WAVEGLOW
赫凯的博客
02-17 4270
WAVEGLOW摘要引言 摘要 在本文提出了WaveGlow:一种依靠流的从梅尔频谱图合成高质量语音的网络。它结合了Glow和WaveNet，生成的快、好、高质量的韵律，而且还不需要自动回归。实现也只是一个单网络，仅使用单个成本函数进行训练：最大化训练数据的可能性，这使训练过程简单且稳定。我们的用了PyTorch实现，结果也蛮好的，和最佳公开的WaveNet效果相同。 引言 机器语音互动变的越来越...
ICASSP 2019 | WaveGlow：用于语音合成的基于流的生成式网络
a609640147的博客
06-02 3773
过去的语音波形生成模型，很多是自回归式的模型，生成速度慢。而非自回归一些模型如Parallel WaveNet和Clarinet，则需要两个网络：一个学生网络和一个老师网络。本文提出的WaveGlow不需要自回归的过程，只由一个网络构成，用一个损失函数进行训练，简单有效。 论文地址: https://ieeexplore.ieee.org/document/8683143 代码地址: http...
python -X utf8 tools/diffusion/inference.py --config
最新发布
06-11
这是一个运行 Python 程序 `inference.py` 的命令，使用了 Python 的 `-X utf8` 参数来指定编码为 UTF-8。`inference.py` 程序位于 `tools/diffusion` 目录下，使用了 `--config` 参数来指定配置文件。 具体来说，`-X utf8` 是一个 Python 的选项，用来指定在 Python 程序中使用的默认编码。在这个命令中，使用了 `utf8` 编码。`inference.py` 是一个 Python 程序，使用了 `tools/diffusion` 目录下的模块和库进行推理。`--config` 参数表示要使用一个配置文件，具体的配置文件路径需要在执行命令时指定。 要执行这个命令，需要在命令行中运行，打开命令行终端，进入 Python 程序所在的目录，然后输入命令并按下回车键即可。请注意，你需要先安装所需的 Python 模块和库，并且需要在命令行中正确设置环境变量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值