论文笔记:WaveNet: A Generative Model For Raw Audio

WaveNet: A Generative Model For Raw Audio

目的主要是:生成的语音听起来比其他的tts方法更流畅。
还可以实现:文本到语音,语音转换,生成音乐,辨别
其实就是提供了一个通用的网络,加以改造就能够完成不同的任务

相关的知识:
PixelCnn 用于图片生成的cnn
casual convolution 因果卷积
dilated convolution 扩展卷积
gated activation
residual and skip connection
残差神经网络ResNet:
https://blog.csdn.net/qq_40027052/article/details/78261737
http://www.itboth.com/d/iqyQF3/resnet-connection-skip
skip connection是残差神经网络的连接方式
https://www.jianshu.com/p/09643588f373

论文的中文翻译:
https://my.oschina.net/stephenyng/blog/1621584

论文的blog:
https://deepmind.com/blog/wavenet-generative-model-raw-audio/

论文中提到的文本转语音的方法(先使用tts模型),论文中gate的操作原因:
https://www.zhihu.com/question/56017966/answer/253599651

论文一般模型的输入输出:
https://www.cnblogs.com/seanliao/p/9595536.html

语音合成发展:
https://www.sohu.com/a/119298142_491255

  • 1
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
WaveNet是一种基于深度学习的语音合成模型,它可以生成自然流畅的语音。在WaveNet模型中,输入是一个语音信号的原始波形,输出是对应的语音样本。训练WaveNet需要以下步骤: 1. 数据预处理:将语音信号转换为数字信号,并将其划分为小的片段。这些片段称为语音帧。每个语音帧的长度通常为20-50毫秒。 2. 模型架构设计:WaveNet模型是一种卷积神经网络,它包含多个卷积层。每个卷积层中的卷积核都是一维卷积核,其大小为2,步长为1。每个卷积层都有多个输出通道,每个通道都使用不同的卷积核。这些通道的输出被连接成一个向量,并通过残差连接传递到下一个卷积层。 3. 损失函数设计:WaveNet模型的目标是生成与原始语音信号尽可能接近的语音样本。因此,损失函数应该衡量生成语音样本与原始语音信号之间的差距。常用的损失函数包括均方误差和交叉熵。 4. 模型训练:使用预处理后的语音帧训练WaveNet模型。训练过程中,使用随机梯度下降优化器更新模型参数。训练时间可能会很长,因此通常使用分布式训练技术来加速训练过程。 5. 模型评估:使用测试集评估WaveNet模型的性能。评估指标包括语音样本的质量、语音合成速度等。如果模型的性能不够好,可以尝试调整模型超参数或增加训练数据来改进模型性能。 以上是WaveNet语音识别模型的训练方法的基本步骤,当然在实际应用中还需要更多的细节和技巧。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值