Fastspeech音素提取

最新推荐文章于 2023-06-28 11:47:20 发布
最新推荐文章于 2023-06-28 11:47:20 发布
阅读量1.2k 收藏 7
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26884501/article/details/115938257
版权

语音合成流程

在这里插入图片描述

端到端语音合成模型(TTS 模型)

在这里插入图片描述

tacotron 2

在这里插入图片描述

encoder部分：类似于wordenbedding放方式进行编码，每个字符对应一个向量，然后对每个vector向量进行类似于contest的交互，使用的交互方式是双向的lstm，能够更好的吸收左右两个方向的信息
decoder：将编码的信息转化为另一种形式的信息，中间使用到tactron2论文中localtion sensitive attention，将两个模态的数据连接起来，可以吸收读音等频谱所需要的信息，最后通过lstm和后处理网络将语音输出出来

TransFormer TTS

在这里插入图片描述
Neural Speech Synthesis with Transformer Network

Deep voice3

在这里插入图片描述
输入是字符和因素合成在一起
然后可以看到输出是有很多个声码器组成的，每个声码器（即文章第一幅图中将频谱转化成音频）侧重的特征点不一样，将不同的特征放在一起进行学习，
Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning

上述三种自回归的语音合成缺陷

在这里插入图片描述
简单说就是attention机制不稳定，会导致漏词或多词；无法控制语速和语调

非自回归语音合成

fast speech

在这里插入图片描述
提出了fast speech的方法，解决了自回归模型的问题，但是有个问题就是生成的语音质量比较差，解决问题的方法是进行知识的蒸馏
此外引入了durationpreditioner的方式进行文本与语音的强对齐，通过强制对齐手段解决了跳词和漏词的现象
引入length regulator来建立文本和语音特征的联系，实现了从文本到语音的映射（端到端）

语音质量评估

在这里插入图片描述

鲁棒性测试

在这里插入图片描述

长度和韵律可控性分析

在这里插入图片描述

音高，能量，音速，音色

在这里插入图片描述

fastspeech的缺点

在这里插入图片描述

fastspeech2

在这里插入图片描述
解决了词长预测不准确和知识蒸馏引入的信息损失

fastspeech2s实现了将文本直接变为波形

模型架构

在这里插入图片描述

望长安于日下
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MFA自动语音到音素对齐工具 montreal-forced-aligner
09-10
MFA对齐工具， 使用方法见官方文档 https://montreal-forced-aligner.readthedocs.io/en/latest/ 可能需要梯子。
通过FastSpeech2中文合成项目梳理TTS流程2: 数据训练（train.py)
weixin_42745601的博客
09-21 2252
1. 参考github网址： GitHub - roedoejet/FastSpeech2: An implementation of Microsoft's "FastSpeech 2: Fast and High-Quality End-to-End Text to Speech" 2. 数据训练所用python 命令： python3 train.py -p config/AISHELL3/preprocess.yaml -m config/AISHELL3/model.yaml -t conf
语音识别 --- 音频信号提取
SLP_L的博客
04-02 3285
音频信号特征提取的一般流程为： 假设我们的语音信号采样频率为 8000Hz，语音数据在这里获取。 import numpy import scipy.io.wavfile from scipy.fftpack import dct sample_rate, signal = scipy.io.wavfile.read('OSR_us_000_0010_8k.wav') # sample_rate = 8000 signal = signal[0:int(3.5 * sample_rate)] # 我
音素与音位关系辨
07-09
音素是从音质的角度对语音进行切分所得到的最小的(语音)单位;音素的概念是局限在音质内部的范畴;音位是一种语言中可以区别意义的最小语音单位,含有一定的社会属性,它既有音素的音质形式,又处于一个音位体系中,一定要考虑不同音位之间的关系,音位才有意义。音位变体依然有音位的性质,音节是由音位和调位、时位、重位等按照一定语言的组合规则组合而成的,而不是由音素组成的。
语音韵律及其神经基础
cc1609130201的博客
11-13 1468
口语的识别通常是通过关注单词或其组成元素(例如，低层级特征或音素)来研究的。最近，人们对语音的“时间中尺度”进行了探索，特别是声学信号包络中与音节信息相关的规律，这些规律在产出和感知加工中起着核心作用。在这种尺度下，语音的时间结构在不同语言之间非常稳定，韵律性的首选范围为2- 8Hz。重要的是，这种韵律性是构成可理解语音的基础加工所需要的。目前的许多工作集中在语音中的听觉-运动相互作用上，突出了行为和神经证据，这些证据表明感知和运动系统的属性及其关系是如何构成中尺度语音韵律的基础的。这些数据引出了一个假设，
FastSpeech理解分析和代码模型展示
进击的小杨人
02-07 2928
文章目录FastSpeech:Fast, Robust and Controllable Text to SpeechFFT BlockLength RegulatorDuration PredictorDURIAN(Tencent AI Lab) FastSpeech:Fast, Robust and Controllable Text to Speech Feed-Forward模块在Pho...
通过FastSpeech2中文合成项目梳理TTS流程3: 语音合成（synthesize.py)
weixin_42745601的博客
09-22 1810
1. 参考github网址： GitHub - roedoejet/FastSpeech2: An implementation of Microsoft's "FastSpeech 2: Fast and High-Quality End-to-End Text to Speech" 2. 语音合成所用python 命令： python3 synthesize.py --text "你好" --restore_step 400000 --mode single -p config/AISHELL.
fastspeech复现github项目--模型构建
zzfive的博客
08-22 1595
fastspeech复现github项目--模型构建
语音合成 | FastSpeech:Fast,Robust and Controllable Text to Speech论文阅读
yiqiyuan17的博客
01-20 4914
文章目录一、简介目前TTS系统中，面临的问题：FastSpeech解决的问题：二、Transformer介绍三、FastSpeech网络结构图四、实验数据集声音质量合成速度耗时比较鲁棒性（错误计数）语速调节韵律控制五、小结 联系邮箱：[email protected] 论文地址：https:/arxiv.org/abs/1905.09263 开源代码：https:/github.com/xcmy...
FastSppech论文阅读笔记
zzfive的博客
08-01 931
FastSpeech论文阅读笔记
05. 音素和国际音标 （26页）.doc
06-09
音素和国际音标 1．什么是音素：音素是语音的最小单位。 2．音素的分类：元音和辅音。 3．音素的个数：共48个，元音音素20个，辅音音素28个。 4．什么是音标：记录音素的符号叫做音标。 5．什么是国际音标：国际...
Kaldi三音素GMM学习笔记
04-13
在这个笔记中，我会首先介绍表示HMM的类HmmTopology和TransitionModel，然后介绍三音素GMM训练脚本train_deltas.sh用到的几个程序，这几个程序与单音素GMM的不同或者只在三音素GMM训练中出现。与GMM相关的其余部分请...
基于音素分类的汉语语声转换算法
02-23
根据汉语语音学理论,分析汉语语言结构,通过帧特征分析,构建了汉语元音映射表,指导音素的分类,然后对每类音素进行独立的特征参数转换,解决了传统GMM转换算法的过平滑问题,避免了训练与测试阶段的语料音素之间的不均衡...
python查单词音标_从Python NLTK或其他模块中的任何单词获取音素？
weixin_39673184的博客
12-22 801
Python NLTK has cmudict that spits out phonemes of recognized words. For example 'see' -> [u'S', u'IY1'], but for words that are not recognized it gives an error. For example 'seasee' -> error.i...
读《PROSOSPEECH: ENHANCING PROSODY WITH QUANTIZED VECTOR PRE-TRAINING IN TEXT-TO-SPEECH》
Dustw1nd的技术小屋
04-24 2642
当下韵律建模存在的问题： 1 提取的基音pitch信息存在误差，导致韵律合成出现问题 2 对韵律生成的相关要素 如基频 时长 能量等相互依存(dependent on each other) 共同产生了韵律相关的特征 3 韵律信息较高的可变性和高质量数据数目较少 导致不能完全学习韵律相关特征(can not fully shaped) 为了解决这些问题，本文提出了ProsoSeech，使用在大规模未配对和低质量文本和语音数据上预训练的量化潜在向量来增强韵律。 具体来说，我们首先介绍了一种词级(word le
语言的韵律(Prosody)
最新发布
Barbara‘s Blog
06-28 1136
从感知层面，语言韵律就是 音调 和 节奏 的变化所产生的感知模式。
语音信号处理之（四）梅尔频率倒谱系数（MFCC）
热门推荐
zouxy09的专栏
06-23 22万+
语音信号处理之（四）梅尔频率倒谱系数（MFCC）[email protected]://blog.csdn.net/zouxy09        这学期有《语音信号处理》这门课，快考试了，所以也要了解了解相关的知识点。呵呵，平时没怎么听课，现在只能抱佛脚了。顺便也总结总结，好让自己的知识架构清晰点，也和大家分享下。下面总结的是第四个知识点：MFCC。因为花的时间不多，所以可能会有不少说的不妥的地
Praat提取音素时长及基频信息代码
YoungLittleT的博客
04-25 2217
############################################################ ### By Shaopf 2013年1月15日 [email protected] ############################################################ form 提取时长基频 comment 输入文件所在的目...
bert模型及其应用场景分享
DAICONG’s Blog
06-21 3395
1. Transformer优缺点： 优点：（1）虽然Transformer最终也没有逃脱传统学习的套路，Transformer也只是一个全连接（或者是一维卷积）加Attention的结合体。但是其设计已经足够有创新，因为其抛弃了在NLP中最根本的RNN或者CNN并且取得了非常不错的效果，算法的设计非常精彩，值得每个深度学习的相关人员仔细研究和品位。（2）Transformer的设计最大的带来性能提升的关键是将任意两个单词的距离是1，这对解决NLP中棘手的长期依赖问题是非常有效的。（3）Transforme
怎么实现HMM音素建模
04-29
HMM（Hidden Markov Model）是一种常用的统计...HMM音素建模是语音识别中的基础，其准确度取决于特征提取和模型训练的质量。常用的语音识别系统如HTK（Hidden Markov Model Toolkit）、Kaldi等都使用了HMM音素建模。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值