A Survey on Neural Speech Synthesis

已于 2023-04-27 19:34:42 修改
阅读量954 收藏 2
点赞数
文章标签： 深度学习
于 2022-11-25 14:29:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51589407/article/details/127972419
版权

TTS发展历程

早期基于计算机的语音合成方法

  • 发音合成

工作方式：通过模拟人类发音器（如嘴唇、舌头、声门和运动声道）的行为来产生语音。

缺点：合成语音质量差

  • 共振峰合成

工作方式：基于控制简化源滤波器模型的一组规则生成语音

优点：可以用适度的计算资源产生高度可理解的语音

不足：很难指定用于合成的规则。

  • 级联合成

工作方式：在推理中，级联TTS系统搜索语音单元以匹配给定的输入文本，并通过将这些单元拼接在一起来产生语音波形

优点：可以生成具有高清晰度和接近原始声优的真实音色的音频

不足：级联TTS需要庞大的记录数据库;生成的声音不那么自然和感性

统计参数语音合成（SPSS）

  • 统计参数语音合成（SPSS）

工作方式：它预测语音合成的频谱、基频和持续时间等参数，再从生成的声学参数中恢复语音。

优点：

1）音频更自然；

2）便于修改参数以控制生成语音；

3） 数据成本低，比级联合成需要更少的记录。

缺点：

1）生成的语音具有较低的可懂度；

2）所生成的语音仍然是机器人音，并且可以容易地与人类记录语音区分开来。

从2010年代开始，基于神经网络的语音合成逐渐成为主流方法

优点：基于神经网络的语音合成在可理解性和自然性方面都具有较高的语音质量，对人工预处理和特征开发的要求较少。

neural TTS的3个关键组件

文本分析器

文本分析即为将文本转化为语言特征（phoneme和韵律特征）

主要任务：

  1. 文本归一化（将原始书面语(非标准词)通过文本规范化转化为口语词汇）
  2. 分词（检测单词边界）
  3. 词性标注(POS)
  4. 韵律（语音的节奏、重音和语调，对应着音节时长、响度和音高的变化）
  5. 预测和字素-音素转换[主要负责生成词汇表外单词的发音(英)/多音音消歧(汉)]

声学模型

声学模型从语言特征或直接从音素或字符生成声学特征

声学模型分为两个时期

  1. SPSS 中的声学模型

通常从语言特征中预测 MGC、BAP 和 F0 等声学特征；

        2.基于神经的端到端 TTS 中的声学模型

从音素或字素预测梅尔谱图/更高维的线性频谱图

其中Tacotron 1/2， DeepVoice 3和TransformerTTS都存在自回归mel谱图生成速度慢，生成的语音通常存在大量的跳过、重复和问题（主要是由于在基于编码器-注意-解码器的自回归生成中，文本和mel谱图之间的注意对齐不准确造成的）。

因此，提出了FastSpeech来解决这些问题，FastSpeech通过并行生成mel谱图，大大加快了合成过程；FastSpeech使用音素持续时间预测器减少了跳过单词和重复单词的比率。

总结：声学模型越fully端到端越好、越非自回归越好、预测时长优于自注意力机制对齐

声码器

声学模型分为两个时期

  1. SPSS 中的声学模型：
  • 以WORLD声码器为例，WORLD声码器包括声码器分析和声码器合成步骤，在声码器分析中，它对语音进行分析，得到梅尔倒谱系数、频带非周期性和F0等声学特征。在声码合成中，它从这些声学特征生成语音波形。

        2.神经声码器包括：

  • 自回归声码器

        例WaveNet几乎不包含有关音频信号的先验知识，并且纯粹依赖于端到端学习实现了良好的语音质量，但它的推理速度很慢

  • 基于流的声码器
  •  基于 GAN 的声码器
  •  基于 VAE 的声码器（variational auto-encoder变分自编码器）
  • 基于扩散的声码器

        其基本思想是用扩散过程和逆过程来制定数据与潜在分布的映射关系：在扩散过程中，波形数据样本逐渐加入一些随机噪声即高斯噪声；在逆过程中，随机高斯噪声逐步被逐步去噪为波形数据样本。生成语音质量高，迭代速度慢

TTS模型的逐步端到端过程以及TTS管道中的数据流：

可研究的前沿topic

可研究的前沿topic

产生原因

可使用的技术/方法

加速train和interference

非自回归生成利用并行计算来加速推理、轻量化的模型、相关领域知识（数字信号处理中的FFT变换在保持小模型的同时提高语音质量）

在low 数据集上训练

自监督训练、利用资源丰富语言中的配对数据预训练、将其他说话人的声音转换为目标声音来增加训练数据、语音链和反向转换（利用额外的未配对文本和语音数据来提高TTS和ASR的性能）、用语音增强 去噪和解纠缠等技术来提高挖掘wild语音数据的质量

鲁棒性TTS（能合成自然度很高且不跳词不重复的TTS）

很难学习characters/phonemes和mel频谱之间的对齐

增强注意机制、（去除注意力机制）预测语音持续时间以弥补文本和语音长度的不匹配

暴露偏差和误差传播

改进自回归（数据增强）、使用非自回归生成

合成有表现力的语音（表现力是由内容、音色、韵律、情感、风格等多重特征决定的。）

对variance information进行建模、控制、转换、从声音中分离（对抗训练）

自适应语音合成[合成适应不同风格/不同和说话人的语音/跨语言（比如在只有英文语音的时候想合成普通话语音，但训练数据中只有英文语音），高效自适应（用很少数据及很少的参数生成质量高的语音）]

情感语音合成的两种方式

  • 将情感信息编码到语言信息中,使用语言信息和情感信息直接合成目标情感语音;
  • 在没有任何表达信息下合成中性语音，然后使用一个合适声音转换技术添加期望的情感表达信息。

情感语音合成的发展历程

传统的情感语音合成方法可分为基于波形拼接合成(基于数据驱动合成)、基于共振峰合成(也称基于规则合成)和基于HMM合成法。

Unit Select

特点：需要一个大语音数据库支撑

不足：这种启发式的方法通常不能够产生任意讲话人的情感，语音合成的质量较低。

基于共振峰合成

特点：完全通过对各种情感语音的声学相关的规则来创建声学语音数据。

优缺点：尽管降低了自然度，但可以高度的灵活的对声学参数进行控制。

基于隐马尔可夫模型(Hidden Markov model,HMM)的方法

优缺点：受人为干扰的影响较小,但由于其生成的是均值矢量参数序列,合成的声音过于平滑,无法有效表达需要的情感。

基于神经网络和韵律修改的端到端情感语音合成（对与情感表达有关的variance information进行建模）

Expressive TTS

variance information分类

内容、说话人特征、韵律、通道效应四个类别

韵律

韵律包括语调、重音和语音节奏，并表示如何说出文本。韵律是提高语音表达能力的关键信息，而绝大多数关于表达性TTS的工作都集中在提高语音的韵律上

与韵律特征有关的声学特征：基频、能量、时长、第一共振峰频率、第二共振峰频率、第三共振峰频率和 mfcc

韵律特征和声学特征之间的关系：

  • 基频决定音调，音调高情感的激活度高
  • 时长决定语速，语速快情感的激活度高
  • 能量决定强度，能量变化幅度大情感的激活度高

对显式variance information建模

我们直接使用variance information作为输入来增强表达合成的模型，如Fast Speech，Fast Speech2，Fast Speech2s可手动控制合成音频的音高、持续时间和能量。

风格类别：风格类别作为条件信息，风格类别指的是快乐或悲伤等情绪类别和说话者类别和嘈杂或安静的通道类别。

可控情感渲染：通过连续变量，可以灵活地控制合成语音的情感强度，生成不同情感强度的表达。

查找表中的类别嵌入：使用查找表中的类别嵌入作为我们的 TTS 系统的全局情感信息。

对隐式variance information建模

  1. Reference encoder

        在推断过程中，它可以使用参考音频来提取 prosody embeddings，或简单地选择一个或一些style tokens来合成语音。例如GST-Tacotron、Prosoty-Tacotron

        2.Advanced generative models 

使用高级生成模型（如VEW，Flow，GAN，Diffusion）隐式学习variance information，从而更好地对多模态分布进行建模

现有方法的不足：利用参考编码器或显式韵律特征（例如，音高、持续时间、能量）进行variance information建模，在推理中具有良好的可控性和可转移性，但由于训练中使用的ground-truth参考语音或韵律特征通常在推理中不可用，因此存在训练/推理不匹配的问题。Advance TTS 模型隐含地捕获变化信息，在合成语音中具有良好的表现力，但在控制和传输方面表现不佳，因为从潜在空间采样不能明确和精确地控制和传输每个韵律特征（例如，音调、风格）。

对different information granularity的variance information建模

不同的信息粒度：

  1. Language/Speaker Level
  2. Paragraph Level
  3. Utterance Level
  4. Fine-grained information：Word/Syllable Level 、Character/Phoneme Level 、Frame Level

 利用覆盖不同粒度的分层结构对方差信息进行建模有助于有表现力的语音合成

TTS的未来研究方向

高质量的语音合成

（决定于清晰度、自然度、表现力、韵律、情感、风格、鲁棒性、可控性）

高质量TTS提升空间：

  1. 更加强大的生成模型
  2. 更好的文本和语音表示
  3. 可以泛化的合成跨文本域的语音
  4. 更好的variance information建模（更好的控制合成特定风格、更好的转移风格、更好的表现力）
  5. 随意自发风格（更像人类说话）

高效率的语音合成

少数据少参数低能源效率[训练服务TTS少排碳，减小FLOPS（全称是floating point of per second每秒浮点运算次数）]

References

参考文献
ESS方法文献名称收录情况发表时间
传统ESS方法Algorithms and Methods for Emotional Mandarin Speech SynthesisADVANCED RESEARCH ON COMPUTER EDUCATION, SIMULATION AND MODELING2011
基于神经网络和variance information的ESS
 		对显式variance information建模FASTSPEECH 2: FAST AND HIGH-QUALITY END-TOEND TEXT TO SPEECHICLR(International Conference on Learning Representation)2021
对隐式variance information建模Learning latent representations for style control and transfer in end-to-end speech synthesisinternational conference on acoustics, speech, and signal processing2019
Expressive Speech Synthesis via Modeling Expressions with Variational Autoencoderconference of the international speech communication association2018
Towards Transfer Learning for End-to-End Speech Synthesis from Deep Pre-Trained Language ModelsarXiv: Computation and Language2019
对different information granularity的variance information建模Multi-SpectroGAN: High-Diversity and High-Fidelity Spectrogram Generation with Adversarial Style Combination for Speech Synthesisnational conference on artificial intelligence2020
A Survey on Neural Speech SynthesisarXiv: Audio and Speech Processing2012

liujiahui295
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文学习】《A Survey on Neural Speech Synthesis》
求求你们别卷了
07-19 5151
《A Survey on Neural Speech Synthesis》论文学习 文章目录《A Survey on Neural Speech Synthesis》论文学习  摘要  1 介绍    1.1 TTS 技术的历史    1.2 调查的组成  2 TTS 中的关键组件    2.1 主要分类    2.2 文本分析    2.3 文本分析   
微软亚洲研究院推出超详尽语音合成综述
08-11
近日，微软亚洲研究院的研究员们通过调研了450余篇语音合成领域的文献，发表了迄今为止语音合成领域几乎最详尽的综述论文 “A Survey on Neural Speech Synthesis”。在文中，研究员们还整理收集了语音合成领域的相关资源如数据集、开源实现、演讲教程等，同时也对语音合成领域未来的研究方向进行了探讨和展望。希望本文能对相关工作的研究人员提供具有价值的参考。
语音合成综述——亚洲微软谭旭《A Survey on Neural Speech Synthesis》上篇
Dustw1nd的技术小屋
08-05 2597
受老师关怀、同学帮助，研一磕磕绊绊也算过去了，回过头来总结一下这一年入门不知道入没入进去的语音合成，正好从这篇大佬的综述理一理脉络，也算是研一的一个总结吧。 论文的结构框架图 论文从两个角度去总结这些年TTS语音合成的发展史，key components和advanced topic，因为文章很长，且我的知识储备并不能覆盖所有的模型，所以我会按照我的进度去总结文章的上下两个部分（Sec2/Sec3），如有疏漏，请见谅。 1.先介绍TTS的合成发展史 1、Articulatory Synthesis最理想的
论文阅读笔记：Neural Speech Synthesis with Transformer Network
BoCong-Deng的博客
12-08 621
提示：阅读论文时进行相关思想、结构、优缺点，内容进行提炼和记录，论文和相关引用会标明出处。 文章目录前言介绍这里科普一下TTS及语音方面的相关知识模型结构 前言 标题：Neural Speech Synthesis with Transformer Network 原文链接：Link Github：NLP相关Paper笔记和代码复现 说明：阅读论文时进行相关思想、结构、优缺点，内容进行提炼和记录，论文和相关引用会标明出处，引用之处如有侵权，烦请告知删除。 转载请注明：DengBoCong 介绍 虽然像
TTS | 一文了解语音合成经典论文/最新语音合成论文篇【20240111更新版】
weixin_44649780的博客
03-08 7923
Text-to-speech(TTS)文本到语音，也就是语音合成。本文主要介绍一些语音合成的综述以及一系列经典论文。现有的语音合成的模型大多基于以下模型的核心思想。
详解WORLD声码器
Barbara‘s Blog
11-12 5768
声码器（英语：Vocoder，发音： /ˈvoʊkoʊdər/），源自人声编码器（英语：voice encoder）的缩写，又称语音信号分析合成系统，对声音进行分析与合成的系统，主要应用于合成人类语音。Analysis分析、Manipulation操作与Synthesis合成。Analysis分析过程主要是指从一段原始声音波形中提取声学特征如线性谱、低频、MFCC；Manipulation操作过程是指对提取出的原始声学特征进行压缩等降维处理，使其表征能力进一步提升；
A comprehensive survey on graph neural networks..pdf
02-14
图神经网络（Graph Neural Networks，GNNs）是一种深度学习方法，旨在处理非欧几里德空间中表示的图数据。近年来，深度学习在图像分类、视频处理、语音识别和自然语言理解等领域取得了巨大成功。但是，传统的机器...
A Comprehensive Survey on Graph Neural NETWORKS.pdf
02-27
we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into ...
A Comprehensive Survey on Graph Neural Network（2019）.pdf
08-22
A Comprehensive Survey on Graph Neural Network（2019）.pdf
A White Paper on Neural Network Quantization-2106.08295
09-03
A White Paper on Neural Network Quantization-2106.08295 MQBench Towards Reproducible and Deployable INTEGER QUANTIZATION FOR DEEP LEARNING INFERENCE PRINCIPLES AND EMPIRICAL EVALUATION-2004.09602 ...
A tutorial on training recurrent neural networks
07-22
mathematically-oriented crash course on traditional training methods for recurrent neural networks, covering back-propagation through time (BPTT), real-time recurrent learning (RTRL), and extended ...
TTS | 一文总览语音合成系列基础知识及简要介绍
最新发布
weixin_44649780的博客
10-25 5263
Text-to-Speech（通常缩写为TTS）是指一种将文本读成音频的技术。换句话说，它指的是一种模型，在该模型中，当文本或类似于字符的东西作为输入时，会生成波形音频作为输出。但实际上，这个 TTS 的音频质量在最近几年有了很大的提高。现在不那么尴尬了。整体内容结构遵循[Tan21]，并添加了迄今为止（2022年8月）发表的最新论文。1.历史第一台“会说话的机器”可能是在 18 世纪后期制造的（据说是一位匈牙利科学家发明的）。计算机辅助创作起源于20世纪中叶，各种技术已经使用了大约50年。
TTS的发展：传统的TTS与基于深度学习的TTS
Eleanor87的博客
10-12 762
语音合成（Text-to-Speech，TTS）的历史可以追溯到很久以前。自18世纪以来，人们就想通过各种方法模拟人类发声的原理。随着深度学习技术的发展，端到端（End-to-End）的TTS系统逐渐崛起，这种系统简化了整个架构，并使得训练和生成过程更加一致。
神经网络声码器
林宋的搬砖流水账
03-21 2125
文章目录ParallelWaveGan背景改进点HiFiGan背景改进点iSTFTNet ParallelWaveGan PWG论文链接 LINE和NAVER公司合作提出的 背景 motivation：对Wavenet自回归网络的改进，实现非自回归的vocoder 改进点 生成器multi-resolution STFT loss：多粒度是指不同的FFT size, window size, and frame shift，让模型建模到时间长度的的特征。 判别器：整体的对抗判别loss HiF
语音合成（speech synthesis）方向三：声码器lpcnet系列
低调奋进
12-01 3427
声明：工作以来主要从事TTS工作，工程算法都有涉及，平时看些文章做些笔记。文章中难免存在错误的地方，还望大家海涵。平时搜集一些资料，方便查阅学习：TTS 论文列表 http://yqli.tech/page/tts_paper.html TTS 开源数据 http://yqli.tech/page/data.html。如转载，请标明出处。欢迎关注微信公众号：低调奋进 1 背景 TTS的工作主要是把文本信息转成音频信息，其大致流程分为前端处理和后端处理两个部分。前端的工作主要是语言领域的处理，主要包括分句
TTS语音合成综述
xys430381_1的专栏
10-17 2115
训练基本的语音合成模型 基于Tacotron汉语语音合成的开源实践（整个训练的流程） 端到端的TTS深度学习模型tacotron(中文语音合成)（对网络结构描述较好） Neural Speech Synthesis with Transformer Network 人声的迁移 5秒克隆语音，我也能用周杰伦的声音唱歌了 论文：Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis github源码
一文看懂Griffin_lim声码器
Barbara‘s Blog
04-08 2011
Griffin_lim算法详解 声码器 声码器是语音分析和合成的一一种工具，目前主要用来将将声学参数转换成语音波形，即合成。 常见的传统声码器有 WORLD, STRAIGHT及其变种等； 还有目前较火的神经网络声码器，如WaveNet，一种可训练的基于深度神经网络的声码器，可生成高质量的语音波形。 GL算法 Griffin_lim声码器是将语谱图转回波形的一种算法。主要思想为已知幅度谱，未知相位谱，通过迭代生成相位谱，并用已知的幅度谱和计算得出的相位谱，重建语音波形。因为常见的特征MEL-spectrum
声码器简介
Hozo_0829的博客
11-17 7922
1、什么是声码器 声码器在发送端对语音信号进行分析，提取出语音信号的特征参量加以编码和加密，以取得和信道的匹配，经信息通道传递到接受端，再根据收到的特征参量恢复原始语音波形。分析可在频域中进行，对语音信号作频谱分析，鉴别清浊音，测定浊音基频，进而选取清-浊判断、浊音基频和频谱包络作为特征参量加以传送；分析也可在时域中进行，利用其周期性提取一些参数进行线性预测，或对语音信号作相关分析。 简略的说
语音合成系统WORLD-原理和简单使用
SoundSlow的博客
09-25 8344
最近在做语音合成相关的一个东西，其中后期需要做一个声音转换系统，但是真正的声音转换系统还挺复杂，因为我们的目的是希望能够将一个声音完全地变为另一个已知的 WORLD通过获取三个语音信号相关的参数信息来合成原始语音，这三个参数信息分别是：基频F0、频谱包络、非周期信号参数（英文分别为：Fundamental Frequency、spectral envelope、aperiodic parame...
a comprehensive survey on graph neural networks
03-16
图神经网络是当前机器学习和人工智能领域中研究得很热门的一个领域，它可以用于解决图形数据上的多种问题，如图分类、图节点分组、图生成等。现有的研究已经涵盖了图神经网络的诸多方面，如模型架构、学习方法、应用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值