基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 跨语言实验观察

最新推荐文章于 2022-05-08 03:34:28 发布
最新推荐文章于 2022-05-08 03:34:28 发布
阅读量171 收藏
点赞数
分类专栏： 研三-语音合成论文 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/114656320
版权

0. 说明

把 LJSpeech 的作为 reference, 以及 DataBaker EN 的

  • 首先仍然用 7k 的那个 ckpt
  • 虽然目前训练到了 126k, 但是保持和之前不跨语言的对比, 所以不用 (单独开一篇博客, 记录实验观察 (二))

 

1. 选取 Reference Speech

1.1. 选取音频

  1. 前 6 个是标贝双语, 分别是 2 个中, 2 个英, 2 个混合
  2. 然后两个是 LJSpeech
  3. 最后四个来源于 VCTK
  4. 注意, 采样率有的是 16k, 有的是 48k

1.2. 给张阳帮忙提取 Speaker Embedding

 

 

ruclion
关注
专栏目录
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-GE2E-EarSpeech 跨语言实验观察
ruclion的专栏
03-11 333
0. 说明 把 LJSpeech 的作为 reference, 以及 DataBaker EN, 还有 VCTK 的 首先仍然用 55k 的那个 ckpt 其他的设置参看张阳的 Speaker Embedding 版本:https://blog.csdn.net/u013625492/article/details/114656320 1.选取 Reference Speech 1.1. 选取音频 前 6 个是标贝双语, 分别是 2 个中, 2 个英, 2 个混合 然后两个是 LJSpe..
Cross-lingual TTS via Domain Adaptation and Perceptual Similarity Regression 论文梳理
ruclion的专栏
10-28 267
0. Abstract 我们提出了一种改进跨语言文本到语音合成性能的方法。先前的作品能够通过扬声器编码器对扬声器空间中的扬声器个性进行建模，但是在合成跨语言语音时会降低性能。这是因为由所有发言人嵌入形成的发言人空间完全取决于语言。为了构建独立于语言的说话者空间，我们将跨语言语音合成作为领域自适应问题，并提出一种训练方法，使说话者编码器将不同语言的说话者嵌入到同一空间。此外，为了提高说话者的个性并构建人类可解释的说话者空间，我们提出了一种回归方法来构造与听觉相关的说话者空间。实验结果表明，我们的方法不仅..
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 不跨语言实验观察
ruclion的专栏
03-10 327
0. 说明 训练的还可以, 跑一下 Inference 张阳的 ASV 我还不会用, 所以只能从已有的每个人的 Speaker Embedding 中选取 1. 选取 Reference Speech /ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/mel-SSB00050119-mel.npy|/ceph/home/hujk17/npy-EarSpeech-HCSI-Data/dereverb_npy/SSB0005/sp
语音合成（TTS)论文优选：Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario
低调奋进
11-27 586
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。欢迎关注微信公众号：低调奋进 Cross-lingual Multispeaker Text-to-Speech under Limited-Data Scenario 本篇文章是做TTS 语言交叉转换的方向，是杜克大学发表的文章，更新2020.05.21.具体的文章链接http://yqli.tech/pdf/tts_paper/2020%20Cross%2.
语音合成（TTS)论文优选：End-to-End Code-Switching TTS with Cross-Lingual Language  Model
低调奋进
12-02 796
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 End-to-End Code-Switching TTS with Cross-Lingual Language Model 本文章是新加坡国立大学电气与计算机工程系李海洲老师团队在icassp 2020发表的文章，主要做语言转换TTS工作，具体的文章链接 https://ieeexplore.ieee.org/abstrac.
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 搭建
ruclion的专栏
03-06 298
0. 说明 用 M2VoC 的数据训练 可以加上 databaker, thucoss 并且可以在RTVC-7 Voice Cloning Model 的 Tacotron Pretrained Model 上忽略 embedding layer, 进行 Tune 1.Git Clone git clonehttps://github.com/ruclion/Pretrained-EarSpeech.gitTuned-EarSpeech -b81428b30a486314577bfbd59...
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第一步 Pretrained-EarSpeech 搭建
ruclion的专栏
03-06 395
0. 说明 跑通 Git 上的 RealTime VoiceClone 1. Git Clone
Real-Time-Voice-Cloning官方github上的pretrained训练模型
08-02
在这个场景中，我们关注的是"Real-Time-Voice-Cloning"项目的预训练模型，该模型由GitHub用户CorentinJ提供。这个项目分为三个关键部分：encoder、synthesizer和vocoder。 **1. Encoder** Encoder是模型的第一部分...
CorentinJ/Real-Time-Voice-Cloning官方github项目包用于声音克隆
08-02
【标题】"CorentinJ/Real-Time-Voice-Cloning官方github项目包用于声音克隆"涉及到的是一个专门用于实时语音克隆的开源项目。这个项目由CorentinJ在GitHub上发布，旨在实现对人声的实时模仿和转换。通过这个工具，...
专业实践最终总结: 端到端跨语言 TTS
ruclion的专栏
03-12 754
1. 实践目的及意义 1.1. 背景意义 Code-switch is a common phenomenon in multilingual society around the world [1]. The latest speech synthesis can generate monolingual speech with high identifiable and naturalness [2][3][4][5]. However, they cannot fully handel code-
LibriTTS-RTVC
04-01
实时语音克隆 该存储库是通过实时工作的声码器实现的（SV2TTS）的实现。 如果您好奇或正在寻找我未记录的信息，请随时检查。 通常，我建议您快速浏览一下引言之外的数字。 SV2TTS是一个三阶段的深度学习框架，它允许从几秒钟的音频中创建语音的数字表示，并使用它来调节经过训练的文本到语音模型，以推广到新的语音。 视频演示（单击图片）： 已实施文件 网址 指定 标题 实施源 SV2TTS 将学习从演讲者验证转移到多演讲者语音合成 这个回购 WaveRNN（声码器） 高效的神经音频合成 塔克创（合成器） Tacotron：走向端到端语音合成 GE2E（编码器） 说话人验证的一般端到端损失 这个回购 消息 19/11/11 ：我现在全职工作，因此我将不再维护此存储库。 对于阅读此内容的任何人： 如果您只想克隆您的声音（而不是其他人的声音）：我建议在上使用我们的免费计划。 您将
VoiceBuilder一个开源文本到语音TTS语音构建工具
08-12
Voice Builder 一个开源文本到语音(TTS) 语音构建工具
RT-Voice PRO 2023.1.0版本
03-02
将文本转换为语音 • 即时从文本转换到语音 — 在运行时即可生成！ • 连带作用：连续的音频生成可节省大量内存！ • 在游戏的测试阶段无需配音演员！ • 按姓名、文化和/或性别筛选语音 • 一次可以发出多种声音（例如，公共场所中很多人同时讲话的场景） • 通过语速、音调和音量微调你的声音！ • 支持 SSML 和 EmotionML！ • 在 Windows 和 iOS 上提供最新的单词、唇形和音素 — 包括标记！ • 生成的音频可以存储为文件在 Unity 中反复使用！ • 单个 AudioSource 匹配 1-infinite 同步发音人！ • 简单的顺序和对话系统 • 不降低性能！ • 提供超过 1000 种声音选择！ 适用于unity2019.4.34及更高版本
MULTI-LINGUAL MULTI-SPEAKER TTS FOR VOICE CLONING WITH ONLINE SPEAKER ENROLLMENT 论文梳理
ruclion的专栏
10-28 630
0. Abstract 最近在多语言和多说话者的语音合成中的研究提出了使用表演艺术家专有语料库并需要进行微调以吸引新声音的方法。为了降低这些成本，我们研究了一种新颖的方法，可以用母语注册的多种语言生成高质量的语音。在我们提出的系统中，我们引入了音调/重音嵌入，扩展了语言嵌入以表示音调和重音信息。通过操纵音调/重音嵌入输入，我们的系统可以以本机口音或外来口音合成语音。为了支持新演讲者的在线注册，我们将基于Tacotron的合成器设置为通过转移学习从预训练的x矢量演讲者编码器派生的演讲者嵌入。与IPA相比..
三元组训练跨语种tts
coder22的博客
05-08 1013
Atriplet由anchor、正样本和负样本组成。 三元组损失是一种成对损失，它最小化锚样本和正样本表示之间的距离，同时最大化锚点和负样本之间的距离。 triplet loss encourages the pronunciation of the synthesizedforeign speech to be close to that of the native anchor speaker,while maintaining the speaker identity of its own 分俩阶
语音合成（TTS)论文优选：Learning to Speak Fluently in a Foreign Language: Multilingual Speech Synthesis and Cr
低调奋进
12-11 1377
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Learning to Speak Fluently in a Foreign Language: Multilingual Speech Synthesis and Cross-Language Voice Cloning 本文章是google公司在2019.07.24更新的文章，主要做multilingualspeech sy.
Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis (RTVC) 论文理解
ruclion的专栏
11-16 1563
-1. 说明 Tacotron组里发表的建模方式, 平安实习这边去年也有同学尝试过 参考核心论文:2018-核心-Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis 参考Git项目 https://github.com/HarryVolek/PyTorch_Speaker_Verification https://github.com/Janghyun1230/Speaker_..
2020-10-12-组会-中文TTS上线前细节问题&低质量语料说话人合成问题&跨语言合成规划
ruclion的专栏
10-20 171
这些比较敏感了，所以归类为私有博客吧~
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第一步 Pretrained-EarSpeech 应用于 M2VoC 比赛
ruclion的专栏
03-06 159
http://challenge.ai.iqiyi.com/detail?raceId=5fb2688224954e0b48431fe0
real-time voice cloning toolbox
最新发布
12-05
real-time voice cloning toolbox是一个可以实时克隆人声的工具箱。它可以通过录音或者实时语音输入，对输入的人声进行采样、分析、转换和合成，实现对目标人声的即时克隆。 这个工具箱的应用范围非常广泛。首先，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值