基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 不跨语言实验观察

最新推荐文章于 2023-10-25 12:23:05 发布
最新推荐文章于 2023-10-25 12:23:05 发布
阅读量291 收藏
点赞数
分类专栏： 研三-语音合成论文 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/114640032
版权

0. 说明

  • 训练的还可以, 跑一下 Inference
  • 张阳的 ASV 我还不会用, 所以只能从已有的每个人的 Speaker Embedding 中选取

1. 选取 Reference Speech

使用里面的 speaker embedding 参与网络预测, 然后用 gl 合成里面的 mel, 作为参考

  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/mel-SSB00050119-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/spk-SSB00050119.npy|81000|406|ti3 yu4 zong3 ju2 gai1 gan4 de5 rang4 ti3 yu4 zong3 ju2 gan4
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/mel-SSB00050117-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/spk-SSB00050117.npy|97800|490|you3 liu4 shi2 jia1 gong1 si1 wei4 xin1 xing1 chan3 ye4 shang4 shi4 gong1 si1
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0323/mel-SSB03230294-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0323/spk-SSB03230294.npy|80000|401|xing2 cheng2 ji4 you3 fen1 gong1 you4 xiang1 hu4 pei4 he2 de5 jian1 guan3 ji1 zhi4
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0323/mel-SSB03230295-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0323/spk-SSB03230295.npy|57200|287|ping2 jun1 shou4 jia4 si4 bai2 jiu3 shi2 jiu2 mei3 yuan2
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/mel-SSB17110171-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/spk-SSB17110171.npy|83400|418|nan2 guai4 ta1 zi4 chao2 dan1 xin1 zhe4 ge4 yang4 zi5 xing2 chu1 jie1 hui4 bei4 ren2 da3
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/mel-SSB17110174-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/spk-SSB17110174.npy|80600|404|qi1 huo4 ying2 ye4 bu4 shu4 liang4 shi2 xian4 le5 ping2 wen2 you3 xu4 zeng1 zhang3
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/mel-002126-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/spk-002126.npy|79200|397|lao3 bo2 jue2 shuo1 ge1 zi5 nen2 zai4 ta3 shang5 xie1 xi5 na4 qun2 huo3 ji1 ze2 zhu4 zai4 di4 yi1 cen2
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/mel-002131-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/spk-002131.npy|48400|243|san1 liang4 yue4 ye3 che1 zai4 cong2 lin2 dao4 lu4 shang5 gao1 su4 lue4 guo4
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/mel-SSB17110187-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/spk-SSB17110187.npy|59600|299|er2 wo3 men5 zhe4 ge4 tuan2 dui4 jin1 nian2 xin1 zu3 cheng2
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/mel-SSB17110188-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB1711/spk-SSB17110188.npy|61400|308|gao1 dang4 jiao4 che1 xu1 jia1 jiu3 shi2 qi1 hao4 qi4 you2
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S1-female-5000/mel-000196-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S1-female-5000/spk-000196.npy|42600|214|si1 ding1 ni2 ba3 suo2 you3 zhe4 yi2 qie4 ao2 zai4 guo1 li3
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S1-female-5000/mel-000456-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S1-female-5000/spk-000456.npy|79400|398|jia2 dao3 zai4 ye3 bu2 yong4 wei4 ying2 zhan3 qiu2 ren2 le5 ye3 zhong1 yu2 ke2 yi3 shui4 jiao4 le5 wo3 hai2 ting3 kai1 xin1 de5
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S1-female-5000/mel-004726-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S1-female-5000/spk-004726.npy|52600|264|zhun3 bei4 zhi1 fu4 yi4 qian1 wan4 zui4 duo1 yi4 qian1 wu2 bai3 wan4 mei3 yuan2
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/mel-001556-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/spk-001556.npy|89000|446|shi4 bing1 shuo1 dao4 ta1 de5 zui2 jiao3 lu4 chu1 le5 yi4 si1 jian1 xiao4 ta1 xing1 li3 fei1 chang2 qing1 chu3 zhe4 jian4 shi4
  • /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/mel-001576-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/tst_npy/MST-Originbeat-S2-male-5000/spk-001576.npy|56000|281|hai2 you3 wang2 you3 wen4 ai4 si1 bo2 ni3 wei4 shen2 me5 zhe4 me5 pa4 zhong1 guo2

2. 选取文本

  • ti3 yu4 zong3 ju2 gai1 gan4 de5 rang4 ti3 yu4 zong3 ju2 gan4
  • you3 liu4 shi2 jia1 gong1 si1 wei4 xin1 xing1 chan3 ye4 shang4 shi4 gong1 si1
  • xing2 cheng2 ji4 you3 fen1 gong1 you4 xiang1 hu4 pei4 he2 de5 jian1 guan3 ji1 zhi4
  • wo3 xi3 huan1 ni3 zhou1 cui4 bao4 zao4 ge1
  • xie4 xie4 da4 jia1 lin2 ting1 yu3 yin1 he2 cheng2 shi2 yan4

 

 

ruclion
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis (RTVC) 论文理解
ruclion的专栏
11-16 1537
-1. 说明 Tacotron组里发表的建模方式, 平安实习这边去年也有同学尝试过 参考核心论文:2018-核心-Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis 参考Git项目 https://github.com/HarryVolek/PyTorch_Speaker_Verification https://github.com/Janghyun1230/Speaker_..
LibriTTS-RTVC
04-01
实时语音克隆 该存储库是通过实时工作的声码器实现的（SV2TTS）的实现。 如果您好奇或正在寻找我未记录的信息，请随时检查。 通常，我建议您快速浏览一下引言之外的数字。 SV2TTS是一个三阶段的深度学习框架，它允许从几秒钟的音频中创建语音的数字表示，并使用它来调节经过训练的文本到语音模型，以推广到新的语音。 视频演示（单击图片）： 已实施文件 网址 指定 标题 实施源 SV2TTS 将学习从演讲者验证转移到多演讲者语音合成 这个回购 WaveRNN（声码器） 高效的神经音频合成 塔克创（合成器） Tacotron：走向端到端语音合成 GE2E（编码器） 说话人验证的一般端到端损失 这个回购 消息 19/11/11 ：我现在全职工作，因此我将不再维护此存储库。 对于阅读此内容的任何人： 如果您只想克隆您的声音（而不是其他人的声音）：我建议在上使用我们的免费计划。 您将
语音合成（TTS)论文优选：Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario
低调奋进
11-27 559
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。欢迎关注微信公众号：低调奋进 Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario 本篇文章是做TTS 语言交叉转换的方向，是杜克大学发表的文章，更新2020.05.21.具体的文章链接http://yqli.tech/pdf/tts_paper/2020%20Cross%2.
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 跨语言实验观察
ruclion的专栏
03-11 154
0. 说明 把 LJSpeech 的作为 reference, 以及 DataBaker EN 的 首先仍然用 7k 的那个 ckpt 虽然目前训练到了 126k, 但是保持和之前不跨语言的对比, 所以不用 (单独开一篇博客, 记录实验观察 (二)) 1.选取 Reference Speech ...
谢磊老师论文: A NOVEL CROSS-LINGUAL VOICE CLONING APPROACH WITH A FEW TEXT-FREE SAMPLES
ruclion的专栏
12-10 198
0.ABSTRACT 本文提出了一种新颖的跨语言语音克隆利用获得的瓶颈（BN）功能构建框架--来自目标语言的独立于说话者的自动语音识别系统 首先，我们使用音频-文本对目标语言的单个说话者的训练文本->BN特征的映射, 称之为韵律模型 (latent prosody model) 然后, 训练多说话人BN特征转->声学特征，在目标语言中, 称之为声学模型 (acoustic model) 最后，声学模型可以根据目标说话者的声音进行微调 原始语言的演讲没有相应的内容 文本，因为BN功能被..
Real-Time-Voice-Cloning:多扬声器TTS，
03-10
已实施文件网址指定标题实施源 SV2TTS 将学习从演讲者验证转移到多演讲者语音合成这个回购 WaveRNN（声码器） 高效的神经音频合成 Tacotron 2（合成器） 基于梅尔谱图预测的条件波网自然合成TTS GE2E（编码器） ...
Neural-Voice-Cloning-with-Few-Samples:少量样本实现神经语音克隆的研究论文，百度
05-09
样本较少的神经语音克隆百度“无样本神经语音克隆”论文的实现可以在checkpoints目录中找到在56k个历元上训练的编码器的检查点，其损失... title = {An Open Source Implementation of Neural Voice Cloning With Few S
CorentinJ Real-Time-Voice-Cloning官方github上的pretrained训练模型
12-07
CorentinJ Real-Time-Voice-Cloning官方github上的pretrained训练模型
Real-Time-Voice-Cloning-master2.zip
11-11
Real-Time-Voice-Cloning-master2.zip源代码
Real-Time-Voice-Cloning官方github上的pretrained训练模型
08-02
CorentinJ/Real-Time-Voice-Cloning项目训练模型，包含encoder、synthesizer、vocoder三部分。
dvector:受GE2E损失训练的说话人嵌入（d矢量）
05-04
D向量 这是经过GE2E损失训练的扬声器嵌入的PyTorch实现。 有关GE2E丢失的原始文章可以在这里找到： 用法 import torch import torchaudio wav2mel = torch . jit . load ( "wav2mel.pt" ) dvector = torch . jit . load ( "dvector.pt" ). eval () wav_tensor , sample_rate = torchaudio . load ( "example.wav" ) mel_tensor = wav2mel ( wav_tensor , sample_rate ) # shape: (frames, mel_dim) emb_tensor = dvector . embed_utterance ( mel_tensor ) # shape: (emb
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-GE2E-EarSpeech 跨语言实验观察
ruclion的专栏
03-11 316
0. 说明 把 LJSpeech 的作为 reference, 以及 DataBaker EN, 还有 VCTK 的 首先仍然用 55k 的那个 ckpt 其他的设置参看张阳的 Speaker Embedding 版本:https://blog.csdn.net/u013625492/article/details/114656320 1.选取 Reference Speech 1.1. 选取音频 前 6 个是标贝双语, 分别是 2 个中, 2 个英, 2 个混合 然后两个是 LJSpe..
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第一步 Pretrained-EarSpeech 应用于 M2VoC 比赛
ruclion的专栏
03-06 145
http://challenge.ai.iqiyi.com/detail?raceId=5fb2688224954e0b48431fe0
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第一步 Pretrained-EarSpeech 搭建
ruclion的专栏
03-06 376
0. 说明 跑通 Git 上的 RealTime VoiceClone 1. Git Clone
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 搭建
ruclion的专栏
03-06 275
0. 说明 用 M2VoC 的数据训练 可以加上 databaker, thucoss 并且可以在RTVC-7 Voice Cloning Model 的 Tacotron Pretrained Model 上忽略 embedding layer, 进行 Tune 1.Git Clone git clonehttps://github.com/ruclion/Pretrained-EarSpeech.gitTuned-EarSpeech -b81428b30a486314577bfbd59...
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 时 ASV-T-SNE
ruclion的专栏
03-10 159
0. 说明 GE2E 的提取在:https://blog.csdn.net/u013625492/article/details/114433738, 第三章 张阳的目前是他直接帮忙提取的 现在分别画出这些的 T-SNE 图 1. 张阳的 Speaker Embedding
GE2E论文学习
qq_28662689的博客
12-26 2577
本文主要记录GE2E的理论知识学习，防止遗忘，方便以后复习。 论文地址： https://arxiv.org/abs/1710.10467 论文的整体翻译： GENERALIZED END-TO-END LOSS FOR SPEAKER VERIFICATION 该文提出了一种新的损失函数，称为广义端到端（GE2E）损失，它使说话人验证模型的训练比我们以前的基于元组的端到端（TE2E）损失函数更有...
TTS | 一文总览语音合成系列基础知识及简要介绍
weixin_44649780的博客
10-25 4291
Text-to-Speech（通常缩写为TTS）是指一种将文本读成音频的技术。换句话说，它指的是一种模型，在该模型中，当文本或类似于字符的东西作为输入时，会生成波形音频作为输出。但实际上，这个 TTS 的音频质量在最近几年有了很大的提高。现在不那么尴尬了。整体内容结构遵循[Tan21]，并添加了迄今为止（2022年8月）发表的最新论文。1.历史第一台“会说话的机器”可能是在 18 世纪后期制造的（据说是一位匈牙利科学家发明的）。计算机辅助创作起源于20世纪中叶，各种技术已经使用了大约50年。
通用的端到端损失函数 (generalized end-to-end loss, GE2E)简单原理和代码
niu_nini的博客
04-11 533
TD-SV对用于验证的语音的内容有一定的限制，一个比较常见的例子是唤醒手机的语音助手，比如Siri，这个时候我们需要说出一个固定的句子“Hey, siri”。相反，TI-SV则不对语音的内容有任何限制。的不同语音中得到的speaker embedding，而negative data则是不同于anchor的speaker的embedding。TE2E会使得anchor和positive data之间的相似度提升，同时降低anchor和negative data之间的相似度，从而区分了不同的speaker。
real-time voice cloning toolbox
最新发布
12-05
real-time voice cloning toolbox是一个可以实时克隆人声的工具箱。它可以通过录音或者实时语音输入，对输入的人声进行采样、分析、转换和合成，实现对目标人声的即时克隆。 这个工具箱的应用范围非常广泛。首先，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值