Tacotron1 + WaveRNN 以及Tacotron2 + WaveNet 使用总结

最新推荐文章于 2024-06-15 09:34:40 发布
最新推荐文章于 2024-06-15 09:34:40 发布
阅读量2.8k 收藏 6
点赞数 2
分类专栏： 研二-语音合成 文章标签： Tacotron1 WaveRNN Tacotron2 WaveNet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/100630601
版权
本文档详述了使用 Tacotron1、Tacotron2 和 WaveNet、WaveRNN 进行文本到语音转换的过程。讨论了安装环境、模型训练、预训练模型的使用以及不同模型在速度和音质上的比较。实验结果显示 Tacotron2 的 Mel 合成速度快，而 WaveRNN 虽然较慢但能提供较好的音质。
摘要由CSDN通过智能技术生成
  1. 系统本身配好了cuda10.1和pytorch1.10.  原来import torch, 尴尬 =.= 但是为了自己方便, 还是装个Anaconda吧.

    在使用anaconda装python时，有时候路径可能没有加入到系统路径中，要手动加入：

    #将anaconda的bin目录加入PATH，根据版本不同。确定anaconda的名字，如果是默认的，python3.7生成anaconda3
$ echo 'export PATH="~/anaconda3/bin:$PATH"'>>~/.bashrc
#然后更新bashrc，即可立即生效，不用关机，source ~/.bashrc用来重启环境变量。
$ source ~/.bashrc

     

  2. 如何create 虚拟环境:

    conda create -n env_name python=3.7

  3. conda install pytorch torchvision cudatoolkit=10.0 -c pytorch
  4. 可能需要换conda源.
  5. 但是没有在环境中装上!不知道为啥.

  6. （一）删除整个anaconda目录：

        由于Anaconda的安装文件都包含在一个目录中，所以直接将该目录删除即可。到包含整个anaconda目录的文件夹下，删除整个Anaconda目录：

        rm -rf anaconda文件夹名


    （

最低0.47元/天 解锁文章
ruclion
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【阅读论文】Tacotron2，结合wavenet通过mel频谱实现自然语音合成
luolinll1212的专栏
01-19 1143
Tacotron2是由Google Brain 2017年提出来的一个语音合成框架。 自然语音合成框架包括两个部分，分别为前段和后端： 前段，词嵌入->mel频谱，tacotron2 后端，mel频谱->语音，wavenet,waveglow Tacotron2:一个完整神经网络语音合成方法。模型主要由三部分组成： 声谱预测网络：一个引入注意力机制（attention）的基于循环的Se...
tacotronv2_wavernn_chinese:tacotronV2 + wavernn 实现中文语音合成(Tensorflow + pytorch)
04-14
TacotronV2 + WaveRNN update at 2020-10-3 添加微调分支 开源中文语音数据集(女声)训练中文，实现中文到声学特征(Mel)转换的声学模型。在GTA模式下，利用训练好的TacotronV2合成标贝语音数据集中中文对应的Mel特征，作为声码器的训练数据。在合成阶段，利用TactornV2和WaveRNN合成高质量、高自然度的中文语音。 从任选一个speaker的语音数据集，微调TacotronV2中的部分参数，实现说话人转换。 Tensorflow serving + Flask 部署TacotronV2中文语音合成服务。 由于中采用Location sensitive attention，对长句字的建模能力不好(漏读、重复)，尝试了、、，能有效地解决对长句的建模能力，加快模型收敛速度。 tensorflow-gpu的版本为1.14.0 测试语音合成的效果
**探索Tacotron2-PyTorch：为您的文本转换语音需求带来的革新**
最新发布
gitblog_00068的博客
06-15 284
探索Tacotron2-PyTorch：为您的文本转换语音需求带来的革新 Tacotron2-PyTorchYet another PyTorch implementation of Tacotron 2 with reduction factor and faster training speed.项目地址:https://gitcode.com/gh_mirrors/ta/Tacotron2...
WaveRNN--简略学习笔记
oneself的博客
10-17 440
WaveRNN--简略学习笔记
Attention，Tacotron，WaveNet和LPCNet声码器等前沿方法详解
音视频开发进阶
05-11 609
作为语音交互的出口，语音合成是语音助手、车载导航、智能音箱、智能玩具、机器人等应用的必备功能，其效果直接影响人机交互的体验。此外，语音合成在AI音频内容创作与生成上也具有巨大的应用潜力：A...
TTS之WaveNet、Tacotron和Tacotron2的介绍
Eleanor87的博客
10-13 648
TTS之WaveNet、Tacotron和Tacotron2的介绍
tacotron:与Tacotron（端到端语音合成模型）相关的出版物附带的音频样本
04-28
然而，Tacotron2引入了WaveNet vocoder，它可以生成更为逼真的音频。 在“tacotron-master”中，你可能会找到以下资源： - **源代码**：实现Tacotron模型的Python代码，包括模型定义、训练脚本和推理模块。 - **...
tacotron:Tacotron和Tacotron2的PyTorch实施
05-01
Tacotron的PyTorch实现，以及利用Wavenet实现PyTorch实现。 特征 在和之间轻松切换 使用json进行详细的模型结构配置 对于Tacotron： 对于Tacotron2： 分行 可以通过合并以下不同分支中的功能来创建新配置。 硕士...
Tacotron-2：DeepMind的Tacotron-2 Tensorflow实现
02-05
Tacotron-2： DeepMind的Tacotron-2的Tensorflow实现。 本文描述了一种深层的神经网络架构： 该存储库包含对纸张的其他改进和尝试，因此，我们提出了paper_hparams.py文件，该文件包含确切的超参数来重现纸张结果，...
mandarin_tacotron2_lpcnet-master_LPCNET_
09-30
它主要由两部分组成：一个基于卷积神经网络（CNN）和长短期记忆网络（LSTM）的声学模型，以及一个波形生成器，通常采用Griffin-Lim算法或WaveNet。Tacotron2的显著特点是其能够生成高度自然的语音，通过注意力机制...
Tacotron语音合成
02-14
Tacotron的核心在于其基于序列到序列（seq2seq）的学习模型，该模型由编码器、解码器和注意力机制组成。编码器负责将输入的字符或音节序列转化为高维向量表示，解码器则将这些向量转换为声谱图，最后通过波形生成...
神经网络语音合成模型介绍-Wavenet
mudongcd0419的博客
09-29 1598
 
语音合成技术入门之Tacotron
Barbara‘s Blog
11-23 3715
学习李宏毅课程。输入文字，输出语音。
语音合成：Tacotron详解【端到端语音合成模型】【与传统语音合成相比，它没有复杂的语音学和声学特征模块，而是仅用＜文本序列，语音声谱＞配对数据集对神经网络进行训练，因此简化了很多流程】
u013250861的博客
06-27 1742
​ ​ Tacotron模型是首个真正意义上的端到端TTS深度神经网络模型。与传统语音合成相比，它没有复杂的语音学和声学特征模块，而是仅用配对数据集对神经网络进行训练，因此简化了很多流程。然后Tacotron使用Griffin-Lim算法对网络预测的幅度谱进行相位估计，再接一个短时傅里叶（Short-Time Fourier Transform，STFT）逆变换，实现端到端语音合成的功能。Tacotron的总体架构如下图：参考资料： Tacotron以及Tacotron2详解 语音合成...
Tacotron以及Tacotron2详解
junbaba_的博客
06-30 9297
Tacotron以及Tacotron2详解 概述 ​ ​ ​ ​ Tacotron模型是首个真正意义上的端到端TTS深度神经网络模型。与传统语音合成相比，它没有复杂的语音学和声学特征模块，而是仅用<文本序列，语音声谱>配对数据集对神经网络进行训练，因此简化了很多流程。然后Tacotron使用Griffin-Lim算法对网络预测的幅度谱进行相位估计，再接一个短时傅里叶（Short-Time Fourier Transform，STFT）逆变换，实现端到端语音合成的功能。Tacotron的总体架构如
python实现中文语音合成_tacotronV2 + wavernn 实现中文语音合成(Tensorflow + pytorch)
weixin_40001275的博客
12-05 1424
TacotronV2 + WaveRNN开源中文语音数据集标贝(女声)训练中文TacotronV2，实现中文到声学特征(Mel)转换的声学模型。在GTA模式下，利用训练好的TacotronV2合成标贝语音数据集中中文对应的Mel特征，作为声码器WaveRNN的训练数据。在合成阶段，利用TactornV2和WaveRNN合成高质量、高自然度的中文语音。从THCHS-30任选一个speaker的语音数...
端到端的TTS深度学习模型tacotron(中文语音合成)
热门推荐
yunnangf的博客
03-19 3万+
TACONTRON: A Fully End-to-End Text-To-Speech Synthesis Model通常的TTS模型包含许多模块，例如文本分析， 声学模型， 音频合成等。而构建这些模块需要大量专业相关的知识以及特征工程，这将花费大量的时间和精力，而且各个模块之间组合在一起也会产生很多新的问题。TACOTRON是一个端到端的深度学习TTS模型，它可以说是将这些模块都放在了一个黑箱子
语音合成模型 Tacotron和Tacotron2 深度学习技术，特别是序列到序列（Seq2Seq）模型和注意力机制，实现了从文本到语音（Text-to-Speech, TTS）的转换
万有文的博客
05-11 1150
语音合成系统通常包含多个阶段，例如TTS Frontend，Acoustic model和Vocoder，如下图更直观清晰一点：语音合成系统，通常称为TTS（Text to Speech，文本到语音），是一种将文字信息转化为人类可理解的语音输出的技术。该系统通常包含多个阶段，每个阶段都有其特定的功能和任务。以下是关于TTS系统中几个关键部分的介绍：TTS Frontend（TTS前端）：这一部分主要负责处理输入的文本信息。
GitHub项目推荐：Tacotron2实现语音合成的Python版本
禅与计算机程序设计艺术
08-13 941
Tacotron2 (Text-To-Speech),是 Google 的开源语音合成神经网络模型，由两部分组成：编码器（Encoder）和转换器（Attention decoder）。它的主要特点就是生成语音波形的同时输出文字描述，这种模型比较适合生成长文本的音频文件，比如电子书、新闻等。本文将使用 Python 的 TensorFlow 和 PyTorch 框架对 Tacotron2 模型进行实践并展示如何使用 Python 实现基于 Tacotron2 的语音合成。
使用keras实现wavenet
04-05
Wavenet是一种用于语音合成的深度神经网络模型，它可以生成高质量的语音音频。在keras中实现Wavenet的过程如下： 1.导入必要的库和模块 ``` import keras from keras.layers import Conv1D, Input, Add, Activation, Dropout from keras.models import Model from keras.utils import to_categorical ``` 2.定义模型参数 ``` num_blocks = 3 #块的数量 num_layers = 10 #每个块中层的数量 num_filters = 32 #卷积核数量 kernel_size = 2 #卷积核大小 dilation_rates = [2**i for i in range(num_layers)] * num_blocks #膨胀率 ``` 3.定义输入和输出 ``` input_shape = (None, 1) #输入形状 output_shape = (None, 256) #输出形状 input_layer = Input(shape=input_shape) output_layer = input_layer ``` 4.定义残差块 ``` def residual_block(x, dilation_rate): tanh_out = Conv1D(filters=num_filters, kernel_size=kernel_size, padding='causal', dilation_rate=dilation_rate, activation='tanh')(x) sigm_out = Conv1D(filters=num_filters, kernel_size=kernel_size, padding='causal', dilation_rate=dilation_rate, activation='sigmoid')(x) merged = Multiply()([tanh_out, sigm_out]) skip_out = Conv1D(filters=1, kernel_size=1)(merged) residual_out = Add()([x, skip_out]) return residual_out, skip_out ``` 5.构建Wavenet模型 ``` skip_connections = [] for i in range(num_blocks): for dilation_rate in dilation_rates: output_layer, skip_out = residual_block(output_layer, dilation_rate) skip_connections.append(skip_out) output_layer = Add()(skip_connections) output_layer = Activation('relu')(output_layer) output_layer = Conv1D(filters=1, kernel_size=1)(output_layer) output_layer = Activation('softmax')(output_layer) output_layer = Dropout(0.2)(output_layer) output_layer = Conv1D(filters=output_shape[-1], kernel_size=1)(output_layer) model = Model(input_layer, output_layer) ``` 6.编译和训练模型 ``` model.compile(optimizer='adam', loss='categorical_crossentropy') model.fit(train_data, to_categorical(train_labels), validation_data=(val_data, to_categorical(val_labels)), epochs=10, batch_size=32) ``` 7.使用模型生成音频 ``` generated_audio = model.predict(input_data) ``` 以上是使用keras实现Wavenet的基本过程。需要注意的是，由于Wavenet模型比较复杂，可能需要较长的训练时间和大量的训练数据才能达到理想的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值