PPG-TTS-Tacotron-Rayhane-ALi: 用Tacotron跑降采样PPG到MEL

最新推荐文章于 2021-06-27 22:06:30 发布
最新推荐文章于 2021-06-27 22:06:30 发布
阅读量519 收藏 1
点赞数
分类专栏： 研三-语音合成论文 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/112481217
版权
本文介绍了作者按照阿里论文复现PPG-TTS的过程，详细讨论了模型结构的差异，包括PPG的维度、ASR模型的选择等，并探讨了训练算法，特别是Fine-Tune训练策略。此外，还比较了不同的PPG序列降采样算法，如Zone Out结构和RNN后的采样策略。
摘要由CSDN通过智能技术生成

0. 说明

项目对应文件夹在: C:\Users\rucli\Desktop\2021-1-22-阿里PPG-TTS-Tacotron-跨语言

之前就跑过不降采样的, 已经能够出效果了: 

现在严格按照阿里论文复现

其中PPG的准备, 用之前版本的, 参考: https://blog.csdn.net/u013625492/article/details/109670529

1. 模型结构

1.1. Paper结构

具体的超参数参看1.2

本地化和Paper的区别在于:

  • PPG的维度, 中英文类别
最低0.47元/天 解锁文章
ruclion
关注
专栏目录
PPG解码为语谱图神经网络DCBHG：linears_decoder_5ms_sch_mel_linear
ruclion的专栏
10-20 395
简单说明 由于PPG Extractor 10ms版本还没有完全训练好，先用帧移5ms LJSpeech数据集顶上，注意： 5ms版本的仅仅是为了对比试验，以及临时等待10ms的数据，主流还是用10ms 代码中hop改为80 代码中max lenth改为2000 MFCC不提取，直接使用之前ppgs_extractor_5ms提取的PPG，配上当前代码audio提取的标准的mel和spec 其余不变，但是单独形成一个项目 这是之前ppgs_extractor_5ms提取的PPG，和配合的me
PPG-TTS-Tacotron-ALi: 基于阿里改进Tacotron PPG-TTS的Pytorch代码实现
ruclion的专栏
01-26 384
0. 说明 结果介绍在:https://blog.csdn.net/u013625492/article/details/112481217 这里主要参考https://github.com/r9y9/tacotron_pytorch给予实现 pytorch tacotron PPG输入 基本严格按照阿里的思路 1. 项目结构
声学参数-MEL&MFCC-Rayhane&PPG_hjk2标准: PPG项目audio_hjk2处理wav文件对比Tacotron-Rayhane的audio处理
ruclion的专栏
01-13 733
0. 说明 audio_hjk2是我用来提取PPG+mel+mfcc+linear的标准 Rayhane是Tacotron合成效果比较好的标准 看看Rayhane和PPG标准是否一样 1. PPG标准/audio_hjk2 #超参数个数：16 hparams={ 'sample_rate':16000, 'preemphasis':0.97, 'n_fft':400, 'hop_length':160, 'win_length':...
声学参数-MEL-AutoVC&PPG_hjk2标准: AutoVC超参数用WaveNet + GL恢复
ruclion的专栏
01-18 382
0. 说明 wavenet太慢了, 又不想动autovc超参数和make_spect代码, 所以适配GL GL有bug, 所以对比下WaveRNN 1. WavNet
2021-1-25工作安排和学习内容
ruclion的专栏
01-25 182
所有任务和DDL [公司] [Ivory Tower] PPG 阿里论文版本.tacotron部分, 画出本地化算法.画表格设计超参数搜索实验.商量用rayhane或torch.PPG提取也写好算法, 顺便训一下cpu版, 看学源的PPT.1月31之前有个初步结果 [学校] [公司] 混语言stage2, 双语语料LID修正后的合成结果整理.PPG的结果出来之后在做, 作为baseline天花板 [公司] [Ivory Tower]总结剩下三类超参数实验结果,设计λ下, dim 再w...
glucose-PPG-data-set-main.zip
05-06
标题 "glucose-PPG-data-set-main.zip" 暗示这是一个包含血糖（glucose）数据的光谱分析（PPG，photoplethysmography）数据集。光谱血流动力学成像是一种无创性的生理测量技术，通常用于监测血流量、心率和血氧饱和...
ppg-ecg预处理及特征提取
最新发布
03-11
使用nk库对ppg和ecg信号记性去噪 ②提取的特征包含 潮波幅值比h2/h1、重搏波幅值比h4/h1、收缩面积比S1/S、舒张面积比S2/S 主波高度h1、波形周期面积S、收缩期面积S1、舒张期面积S2、脉搏传导时间PWTT，采用ECG与...
PPG-BP数据集脉搏波去噪Python代码
05-23
这是一个用于读取PPG-BP数据集中的脉搏波数据并对其进行去噪的Python代码示例。该代码利用matplotlib.pyplot和scipy.signal库实现了数据的读取、信号绘制和低通滤波等功能。通过打开文本文件、读取数据、绘制原始...
PPG_features-master_welcomee1m_ppg特征提取_PPG信号处理_PPG信号处理代码_PPG_
10-01
本压缩包文件“PPG_features-master_welcomee1m_ppg特征提取_PPG信号处理_PPG信号处理代码_PPG_”主要包含了与PPG信号预处理和特征提取相关的代码资源，适合学习和参考。 首先，我们来了解PPG信号的基本原理。PPG...
语音后验图特征PPG(Phonetic Posteriorgram)特征简介
qq_41562704的博客
06-27 6359
最近有个数字人的项目，接触了下后验图PPG这个特征。 简介 PPG的全称是 phonetic posteriorgrams，即语音后验概率，PPG是一个时间对类别的矩阵，其表示对于一个话语的每个特定时间帧，每个语音类别的后验概率。单个音素的后验概率作为时间的函数称为后验轨迹。 一般来讲是从目标说话者的语音中，使用与说话者无关的自动语音识别(SI‑ASR)系统来提取PPG。提取到的PPG用作映射不同的说话者之间的关系。PPG包括与时间范围和语音类别范围相对应的值集合，该语音类别对应于音素状态。 以[2
ECG/PPG量测解决方案
影子
07-15 398
摘要 本应用文件介绍了心电图 (ECG) 与光电容积图 (PPG) 的基本工作原理，讨论了ECG与PPG生理信号的量测，以及提高可靠性、实现高精度电气特性的难点。一般高精准度的ECG与PPG架构都是采用模拟前端和ADC组合而成的解决方案。本文介绍的RT1025利用ECG/PPG同步采样ADC，提供了一个可以同步撷取ECG/PPG以应用于血压计算的引人注目亮点，及其高度集成的解决方案省去了多个模拟...
2020港中文PPG代码复现细节: CODE-SWITCHED SPEECH SYNTHESIS USING BILINGUAL PHONETIC POSTERIORGRAM
ruclion的专栏
10-26 1487
0. 说明 港中文的论文和我实现的有细节不同, 记录下来 目的是达到论文的Demo的水平, 并且综合标准港中文的和我们实验室的获取PPG使用的经验 0.1. 再一次读论文的细节 使用基于编码器/解码器的模型来学习输入文本和双语PPG之间的关系, 为TTS; 根据英文句子抽取PPG, 为VC; 这两者有区别么? 使用基于演讲者嵌入的双向长期短期记忆模型，将双语PPG映射到声学特征; 为什么不用更复杂的(如CBHG)网络? 语言在语音上本质上是不同的，这意味着一种语言的PPG无法有效地表征另一种语言
专业实践最终总结: 端到端跨语言 TTS
ruclion的专栏
03-12 776
1. 实践目的及意义 1.1. 背景意义 Code-switch is a common phenomenon in multilingual society around the world [1]. The latest speech synthesis can generate monolingual speech with high identifiable and naturalness [2][3][4][5]. However, they cannot fully handel code-
【可穿戴算法开发】-PPG信号检测方法
热门推荐
wxq_1993的博客
01-17 2万+
文章目录一、PPG（光电容积脉搏波法）信号的检测原理二.PPG技术目前存在的问题（挑战）三. **心电信号产生的原理** 随着经济的发展，在人们生活水平提高的同时，高脂肪摄入和低运动量成为了人们普遍的生活模式，近年来高血压、高血脂已经发展为危险性最高的病症。心电、血压、血氧等生理参数是预防和分析心血管疾病的重要生理参数。 常用的心电测量仪器有：多导ECG心电图仪、PPG心率检测器、心率带等； 常...
[2021 icas]PPG-BASED SINGING VOICE CONVERSION WITH ADVERSARIAL REPRESENTATION LEARNING
林宋的搬砖流水账
02-05 696
作者：Li Zhonghao 会议：投稿2021 icassp 单位：bytedance 文章目录abstract1. introduction2. METHOD2.1 PPGs Encoder & decoder2.2 Mel Encoder2.3 singer confusion module2.4 Mel-Regressive Representation learning Module3. EXPERIMENTS3.1. Experimental Setup3.2 Ablation Test
PPG跨语言教学修正的跨语言合成论文
ruclion的专栏
08-14 308
思路：坏PPG索引Mel坏不要去训练LSTM，要找到配套的好PPG
kaldi 工具提取较为准确的 PPG
ruclion的专栏
03-20 501
0. 说明 希望通过 Kaldi 可以提取出足够准确, 能够商用的 PPG 提取器~ TODO
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值