Neural Text to Speech Synthesis

已于 2022-02-22 09:27:27 修改
阅读量835 收藏 2
点赞数
分类专栏： paper笔记 文章标签： 深度学习 transformer 计算机视觉
于 2022-02-15 21:41:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40168949/article/details/122951905
版权

作者：tanxu
会议：IJCAI 2020
单位：微软

文章目录

acoustic model

AR & LSTM model

Tacotron（location sensitive attention)

在这里插入图片描述

DurIAN
  • 单独的duration model，时长显示可控
    在这里插入图片描述

NAR & CNN/Transformer model

DeepVoice 3
  • 全CNN结构，推理加速，支持不同的声学特征输出（vocoder: world, GL, WaveNet），支持multi-speaker（2000人，小数据量）在这里插入图片描述
TransformerTTS
  • 和tacotron结构类似，将encoder&decoder中的lstm替换为transformer；并行化训练，且质量与tacotron2相当；因为并行化计算，attention的鲁棒性不足（??)
    在这里插入图片描述
Fastspeech2

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • fastspeech是基于teacher-student方法训练，知识蒸馏过程中有信息损失；
  • fastspeech2为了解决一对多的问题，加入额外的条件输入（duration，pitch，energy），训练阶段这些特征直接从target中提取，infer阶段是predictor预测的（predictor和FastSpeech2模型一起训练）；
VITS

在这里插入图片描述

  • FLOW-based， end2end

vocoder

在这里插入图片描述

LPCNet

  • AR model，BFCC，～20M

HiFiGan

  • NAR model，mel, ~54M

PWG

Advanced topics in TTS

在这里插入图片描述

expressive

在这里插入图片描述

Synthesize clean speech for noisy speakers
  • denoise speech用于TTS训练
  • noisy or clean embedding作为ref，noisy speech输入的时候搭配clean emb，句子级别的；
  • noisy condition module：实际上是noisy extractor + noise encoder，逐帧编码噪声信息，制造paired noisy speech
adaptive for everyone
  • basemodel的泛化性要足够强，因为target speaker的风格可能有异于基础数据库，这样性能就会明显下降；
  • 少量数据的情况下，只finetune部分相关参数；（拆分成phn encoder, speaker encoder等多个部分，只更新speaker encoder)
  • AdaSpeech 2：少量说话人数据
  • AdaSpeech 3：朗读风格到自由风格
    在这里插入图片描述

expressive TTS

cycle consistency/ feedback for control

[195] 控制情感风格
Controllable Emotion Transfer For End-to-End Speech Synthesis

在这里插入图片描述

[202] 非平行数据的TTS情感控制
Improving Unsupervised Style Transfer in end-to-end Speech Synthesis with end-to-end Speech

  • motivation：之前TTS的ref-encoder 通常train的时候和文本是对应一句话，但是在infer的时候不是一句话；为了解决这个问题，我们在训练的时候也不用一句话，然后额外添加一个ASR系统控制合成的文本。
    在这里插入图片描述
semi-supervised learning for control

[103] 半监督的方法实现小数据量控制TTS风格
Semi-Supervised Generative Modeling for Controllable Speech Synthesis

  • motivation: 传统TTS风格控制的方法需要大量的数据控制比如情感、语速这样隐式的特征；通过加入supervised embedding，实现控制。
  • 实验以语速和基频作为目标，语速给一个标准，然后计算；基频计算mean/var，然后高斯重采样；
    在这里插入图片描述
林林宋
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
OpenSeq2Seq：使用语音识别，Text2Speech和NLP进行有效实验的工具包
02-05
OpenSeq2Seq：用于序列到序列模型的分布式和混合精度训练的工具包 OpenSeq2Seq的主要目标是使研究人员能够最有效地探索各种序列到序列模型。 通过完全支持分布式和混合精度培训来实现效率。 OpenSeq2Seq使用...
基于Transformer的语音合成
暮木的博客
12-14 2016
论文： Neural Speech Synthesis with Transformer Network 摘要： 尽管端到端神经网络text-to-speech Tacotron2实现了state of the art performance 表现，但存在两个问题，1.在训练和推理过程的低效率，2. 难以使用当前的递归神经网络（RNN）对长期依赖性进行建模。于是引用transformer中的多头注意力机制代替RNN,Transformer的语音合成模型比tac...
语音合成Parallel Neural Text-to-Speech论文阅读
yiqiyuan17的博客
10-25 1443
语音合成||Parallel Neural Text-to-Speech论文阅读 文章目录语音合成||Parallel Neural Text-to-Speech论文阅读一、简介二、自回归seq2seq模型三、非自回归seq2seq模型四、注意机制（Attention Mechanism）五、注意蒸馏（Atttention Distilation）六、位置编码（Positional Encodin...
端到端的TTS深度学习模型tacotron(中文语音合成)
11-22 3402
TACONTRON: A Fully End-to-End Text-To-Speech Synthesis Model 通常的TTS模型包含许多模块，例如文本分析， 声学模型， 音频合成等。而构建这些模块需要大量专业相关的知识以及特征工程，这将花费大量的时间和精力，而且各个模块之间组合在一起也会产生很多新的问题。TACOTRON是一个端到端的深度学习TTS模型，它可以说是将这些模块都放在了一个黑箱子里，我们不用花费大量的时间去了解TTS中需要用的的模块或者领域知识，直接用深度学习的方法训练出一个TTS模
课程向：深度学习与人类语言处理 ——李宏毅，2020 (P15)
阿芒Aris的博客
08-25 1238
在本篇开始我们继续讲解 Text-to-Speech (TTS) Synthesis* 语音合成，输入文字产生声音，我们会从四个方面来讲：P14讲解1 和 2，而本篇P15将讲解 3 和 4 1 TTS before End-to-End ：在端到端技术之前TTS是怎么做的 2 Tacotron: End-to-end TTS ：硬train一发的时代 3 Beyond Tacotron ：硬train一发的后时代 4 Controllable TTS
Text-To-Speech(TTS)语音朗读
尘埃落定
01-07 3209
Text-To-Speech(TTS)语音朗读更新: 2010-04-08来源: 互联网字体:【大中小 】-<br />TextToSpeech简称 TTS，是Android 1.6版本中比较重要的新功能。将所指定的文本转成不同语言音频输出。它可以方便的嵌入到游戏或者应用程序中，增强用户体验。<br /> 在讲解TTS API和将这项功能应用到你的实际项目中的方法之前，先对这套TTS引擎有个初步的了解。<br />对TTS资源的大体了解：<br />TTS engine依托于当前Android Pl
Text-to-Speech-Synthesiser:将输入文本转换为语音，可以合成该语音以提高速度或操纵其音调
05-06
此外，开发者还可以利用`speechSynthesis`对象提供的接口控制合成速度和音调，增强用户体验。 总结，Text-to-Speech技术的不断发展和优化，正在不断推动人机交互的边界，使得机器能够更自然地模仿人类语音，从而在...
WaveRNN:WaveRNN声码器+ TTS
05-08
并输出到新的“ quick_start”文件夹中，您可以在其中播放wav文件并查看注意图您还可以使用该脚本生成自定义的tts句子和/或使用'-u'生成完整的（更好的音频质量）： python quick_start.py -u --input_text“如果...
pytorch-dc-tts:使用 PyTorch 进行文本到语音转换（英语和蒙古语）
08-05
训练 Text2Mel 模型： python train-text2mel.py --dataset=ljspeech 训练 SSRN 模型： python train-ssrn.py --dataset=ljspeech 合成句子： python synthesize.py --dataset=ljspeech WAV 文件保存在samples...
dispel-server:使用AWS Polly合成语音
04-08
驱散服务器 与AWS Polly合成语音。 结合使用AWS S3和对象过期生命周期规则进行缓存。 元 状态：生产 产量： ..."standard"|"neural" "standard" 声音 语 女性名字/身份证 男性名字/ ID 阿拉伯语（阿
ParallelWaveGAN:带有Pytorch的非官方并行WaveGAN（+ MelGAN和多频段MelGAN）
05-13
使用Pytorch的并行WaveGAN（+ MelGAN和多频段MelGAN）实现 该存储库通过Pytorch提供UNOFFICIAL ， 和实现。 您可以结合这些最新的非自回归模型来... 2020/05/27推出新的LJSpeech多频段MelGAN预训练模型！ 2020/05/24 L
diffwave:DiffWave是一种快速，高质量的神经声码器和波形合成器
05-02
差异波 DiffWave是一种快速，高质量的神经声码器和波形合成器。 它以高斯噪声开始，并通过迭代细化将其转换为语音。 可以通过提供条件信号（例如，对数比例的梅尔频谱图）来控制语音。 有关模型和体系结构的详细...
wavegrad:快速，高质量的神经声码器
04-13
WaveGrad WaveGrad是Google Brain的人员设计的一种快速，高质量的神经声码器。 描述了该体系结构。 简而言之，该模型采用对数比例的梅尔频谱图，并通过迭代精化将其转换为波形。 状态（2020-10-15） ...
TTS-Cube:递归神经网络的2端到2端语音合成
05-04
介绍新的： 可以在 找到使用Google Colaboratory的交互式演示TTS-Cube是一个端到端的语音合成系统，可提供完整的处理管道来训练和部署TTS模型。 它完全基于神经网络，不需要预先对齐的数据，并且可以通过仅使用字符...
辐条栈-python：Spokestack是一个库，它使用户可以轻松地将语音接口合并到Python应用程序中
02-05
欢迎使用Spokestack Python！ 该库用于在Python中开发。 这可以包括从应用程序（如传统的智能扬声器）到 Web应用程序的任何内容。 内置的任何内容都可以使用语音界面。 开始使用 系统依赖 为了通过pip安装辐条堆栈，...
语音合成论文优选：Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guide
低调奋进
02-03 456
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Efficiently Trainable Text-to-Speech System Based on Deep Convolutional Networks with Guided Attention 本文是icassp2018的文章，是语音合成端到端兴起的初始文章，本文章是使用卷积网络来替代rnn网络，从而提升速度，文章链接 h.
NOISE ROBUST TTS FOR LOW RESOURCE SPEAKERS USING PRE-TRAINED MODEL AND SPEECH ENHANCEMENT论文阅读
weixin_40695631的博客
02-04 341
摘要 目前鲁棒性较强的模型依赖于大量高质量的，定制的数据收集。因此如何从互联网收集并充分利用低资源和低质量的声音数据来合成个性化的声音是非常值得探究的。在这篇文章中，提出了端到端的语音合成模型，使用了speaker embedding和noise representation作为条件输入来对说话人和噪声信息进行建模。 首先， 语音合成模型使用多说话人的干净的和包含噪声数据进行预训练； 然后用预训练好的模型来自适应低资源的带有噪声的新说话人的数据。最后，通过设置干净的语音条件该模型能够合成新说话人清晰的语音.
Hierarchical Generative Modeling for Controllable Speech Synthesis笔记
进击的小杨人
04-08 1173
文章目录可控语音合成的分层生成建模一、简介二、模型2.1 具有分层隐式变量的可控生成模型2.2 变分推论和训练2.3 显示分类标签的连续属性空间2.4 神经网络结构三、相关研究三、相关研究四、实验 可控语音合成的分层生成建模 本文提出了一种神经端到端文本到语音（TTS）模型，该模型可以控制生成的语音中潜在的属性，这些属性很少在训练数据中注释，例如说话风格，重音，背景噪声和记录条件。该模型被公式化为...
Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis
林宋的搬砖流水账
03-12 2986
作者：ye jia 单位：google abstract 我们提出一个TTS的神经网络，可以生成多个speaker的语音，包括在train的时候没有见过的。系统包括三个独立训练的部分 （1）a speaker encoder net: 在数千个说话者的带噪数据集上训练的，不需要文本数据，可以从几秒的语音中生成一个embedding vector； （2）一个基于tactron2的seq2seq s...
One-Shot Free-View Neural Talking-Head Synthesis
最新发布
03-07
One-Shot Free-View Neural Talking-Head Synthesis 是一种基于神经网络的技术，可以将静态的图片转化为动态的视频，同时还可以合成人物的语音和表情。这项技术可以应用于虚拟人物的制作、视频游戏、电影特效等领域...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值