专业实践记录II: 端到端跨语言音色迁移语音合成

最新推荐文章于 2022-05-08 03:34:28 发布
最新推荐文章于 2022-05-08 03:34:28 发布
阅读量485 收藏 1
点赞数
分类专栏： 研三-语音合成论文 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/113393773
版权

0. 说明

记录的是2020-12-16到2021-1-16之间的工作

1. 工程性

1.1. 商业化混语言合成系统完善

接上月的工作，在有双语语料的前提下，实现混语言文本的合成

这部分的系统名称为：Fantasy Mix-Lingual Tacotron

1.1.1. 实验细节

使用的语料有：使用实验室标贝双语数据集训练，平安科技公司的春春虚拟双语语料

总共尝试的模型有：

  • Fantasy Mix-Lingual Tacotron Version 2: 使用Grapheme，保留Language ID，使用VAE模块
  • Fantasy Mix-Lingual Tacotron Version 4: 使用Phoneme，保留Language ID，使用VAE模块
  • Fantasy Mix-Lingual Tacotron Version 5: 使用Phoneme，保留Language ID，去除VAE模块
  • Fantasy Mix-Lingual Tacotron Version 6: 使用Phoneme，去除Language ID，使用VAE模块
  • Fantasy Mix-Lingual Tacotron Version 7: 使用Phoneme，去除Language ID，去除VAE模块
  • Fantasy Mix-Lingual Tacotron Version 4修正版: Language ID提前到TXT Encoding处拼接，其余不变
最低0.47元/天 解锁文章
ruclion
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
端到端TTS合成方法：合成样本分析
学-> 思->用
02-19 435
文章目录英语合成样本感悟 英语合成样本 Learn English online using our high-quality resources to quickly improve your English. This website is created for adult learners of English by the British Council, the world’s En...
专业实践记录IIII: 端到端跨语言音色迁移语音合成论文 - 三步走
ruclion的专栏
03-12 551
0. 说明 记录的是2020-2-15到2021-3-8之间的工作 主要是跨语言音色迁移的三步走中: Pre-trained Ear Speech Self-trained Ear Speech 的系统搭建和实验结果 同时也给 Tacotron 找到/实现了更好的一版 Pytorch 代码 1. Pre-trained Ear Speech 详细过程见: https://blog.csdn.net/u013625492/article/details/114433229 1.1. ..
StarGAN-VC语音音色转换
明月几时有，把酒问青天
12-28 6802
语音转换（VC）是一种在保留语言信息的同时转换指定话语的语言信息的技术。VC可以在很多地方得到应用，如文本到语音（TTS）系统的说话人身份（男女，老少等）修改， 口语辅助，语音增强和发音转换。 目前VC的方法大部分对于并行数据中涉及的对齐处理不是很理想，因此可能需要仔细的预筛选和手动校正才能使这些框架可靠地工作。为了绕过这些限制， StarGAN关注的是实现一种非并行VC方法，它对训练集的要求上既...
ESPnet: 端到端语音处理工具集-python
06-18
主要侧重于端到端语音识别和端到端的文本到语音转换。 ESPnet使用chainer和pytorch作为主要的深度学习引擎，并遵循Kaldi风格的数据处理，特征提取/格式和配方，为语音识别和其他语音处理实验提供完整的设置。 ESPnet：端到端语音处理工具包系统/pytorch 版本。 1.0.1 1.1.0 1.2.0 1.3.1 1.4.0 1.5.1 ubuntu18/python3.8/pip ubuntu18/python3.7/pip ubuntu18/python3.6/conda ubuntu16/python3.6/conda debian9/python3. 6/conda centos7/python3.6/conda [docs/coverage] python3.8 文档 | 示例 | 示例 (ESPnet2) | 码头工人 | 笔记本 | Tutorial (2019) ESPnet 是一个端到端的语音处理工具包，主要侧重于端到端的语音识别和端到端的文本转语音。 ESPnet 使用 chainer 和 pytorch 作为主要的深度学习引擎，并遵
TACOTRON：走向端到端语音合成 TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS.pdf
06-28
文本到语音合成系统通常由多个阶段组成，例如文本分析前端、声学模型和音频合成模块。构建这些组件通常需要广泛的领域专业知识，并且可能包含脆弱的设计选择。在本文中，我们提出了Tacotron，一个端到端生成的文本到语音模型，直接从字符合成语音。在给定<text，audio>对的情况下，可以通过随机初始化完全从头开始训练模型。我们提出了几个关键技术，使sequence-to-sequence框架能够很好地执行这项具有挑战性的任务。Tacotron在美式英语上获得了3.82分的主观5级平均意见分数，在自然度方面优于生产参数系统。此外，由于Tacotron在帧级别生成语音，因此它比样本级别的自回归方法快得多。
ESPnet：端到端语音处理工具包-Python开发
05-25
ESPnet是一个端到端的语音处理工具包，主要侧重于端到端的语音识别和端到端的文本到语音。 ESPnet使用链接器和pytorch作为主要的深度学习引擎，并且还遵循Kaldi样式的数据处理，特征提取/格式和配方来为语音识别和其他语音处理实验提供完整的设置。 ESPnet：端到端语音处理工具包系统/ pytorch版本。 1.0.1 1.1.0 1.2.0 1.3.1 1.4.0 1.5.1 1.6.0 1.7.0 ubuntu18 / python3.8 / pip ubuntu18 / python3.7 / pip ubuntu18 / python3.6 / conda ubuntu20 / python3.6 / conda debian9 / python3.6 / conda centos7 / python3.6 / conda debian9 / python3.6 / conda centos7 / python3.6 / conda [docs / coverage] python3.8 Docs | 例子 示例（ESPnet2）| 码头工人| 笔记本| Tutor
tacotron:与Tacotron（端到端语音合成模型）相关的出版物附带的音频样本
04-28
该存储库包含与Tacotron有关的出版物的音频样本，Tacotron是Google声音理解和大脑团队的端到端语音合成模型。 这不是Google的官方产品。
专业实践最终总结: 端到端跨语言 TTS
ruclion的专栏
03-12 708
1. 实践目的及意义 1.1. 背景意义 Code-switch is a common phenomenon in multilingual society around the world [1]. The latest speech synthesis can generate monolingual speech with high identifiable and naturalness [2][3][4][5]. However, they cannot fully handel code-
Cross-lingual TTS via Domain Adaptation and Perceptual Similarity Regression 论文梳理
ruclion的专栏
10-28 254
0. Abstract 我们提出了一种改进跨语言文本到语音合成性能的方法。先前的作品能够通过扬声器编码器对扬声器空间中的扬声器个性进行建模，但是在合成跨语言语音时会降低性能。这是因为由所有发言人嵌入形成的发言人空间完全取决于语言。为了构建独立于语言的说话者空间，我们将跨语言语音合成作为领域自适应问题，并提出一种训练方法，使说话者编码器将不同语言的说话者嵌入到同一空间。此外，为了提高说话者的个性并构建人类可解释的说话者空间，我们提出了一种回归方法来构造与听觉相关的说话者空间。实验结果表明，我们的方法不仅..
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-GE2E-EarSpeech 跨语言实验观察
ruclion的专栏
03-11 313
0. 说明 把 LJSpeech 的作为 reference, 以及 DataBaker EN, 还有 VCTK 的 首先仍然用 55k 的那个 ckpt 其他的设置参看张阳的 Speaker Embedding 版本:https://blog.csdn.net/u013625492/article/details/114656320 1.选取 Reference Speech 1.1. 选取音频 前 6 个是标贝双语, 分别是 2 个中, 2 个英, 2 个混合 然后两个是 LJSpe..
espnet：端到端语音处理工具包
02-05
ESPnet：端到端语音处理工具包 系统/火炬版 1.0.1 1.1.0 1.2.0 1.3.1 1.4.0 1.5.1 1.6.0 1.7.1 ubuntu18 / python3.8 / pip ubuntu18 / python3.7 / pip ubuntu18 / python3.6 / conda ubuntu20 / python3.6 / conda debian9 / python3.6 / conda centos7 / python3.6 / conda [docs / coverage] python3.8 | | | | ESPne
深度学习系列(三)【人类语言处理--语音转换】
小小何先生的学习之旅
05-18 3941
文章目录引言算法 引言   语音转换Voice Conversion (VC)，是希望转换音色，在神经网络中描述就是输入一段声音讯号，输出一段声音讯号，但是音色已经发生了改变(内容一样)。 Samples for “Unsupervised Singing Voice Conversion” https://enk100.github.io/Unsupervised_Singing_Voice_Conversion/ https://tencent-ailab.github.io/pitch-
毕业设计论文进度报告I: 端到端跨语言音色迁移语音合成
ruclion的专栏
12-14 503
0. 说明 学院要求定期上报, 正好好好整理下, 相当于博客的一个提纲式索引吧 1. 题目 端到端跨语言音色迁移语音合成 现在和当时开题相比, 多了别的想法: 包括当时觉得的基本的结构跨语言, ppg跨语言, 综合的multi-task跨语言 多了loss跨语言的思路 多了逆向思路: voice clone, autoVC学音色跨语言思路 增加混语言的说法, 跨语言只是混语言的第一步, 之后更详细的input representation, code-switch等内容也考虑 跨语言合成的
赛事报名 | 全球第一个小资源音色克隆挑战赛正式启动
爱奇艺技术产品团队
11-20 1221
全球第一个小资源音色克隆挑战赛正式启动竞赛简介文语转换（TTS）又称为语音合成，旨在将文本转换成自然语音的一类技术，是智能语音领域的前沿技术，在语音助手、信息播报、有声读物等方面...
语音合成（TTS)论文优选：End-to-End Code-Switching TTS with Cross-Lingual Language  Model
低调奋进
12-02 741
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 End-to-End Code-Switching TTS with Cross-Lingual Language Model 本文章是新加坡国立大学电气与计算机工程系李海洲老师团队在icassp 2020发表的文章，主要做语言转换TTS工作，具体的文章链接 https://ieeexplore.ieee.org/abstrac.
专业实践记录I: 端到端跨语言音色迁移语音合成
ruclion的专栏
12-15 1057
0. 说明 记录的是2020-11-12到2020-12-15之间的工作 1. 工程性 1.1.ppgs_extractor封装接口
MULTI-LINGUAL MULTI-SPEAKER TTS FOR VOICE CLONING WITH ONLINE SPEAKER ENROLLMENT 论文梳理
ruclion的专栏
10-28 593
0. Abstract 最近在多语言和多说话者的语音合成中的研究提出了使用表演艺术家专有语料库并需要进行微调以吸引新声音的方法。为了降低这些成本，我们研究了一种新颖的方法，可以用母语注册的多种语言生成高质量的语音。在我们提出的系统中，我们引入了音调/重音嵌入，扩展了语言嵌入以表示音调和重音信息。通过操纵音调/重音嵌入输入，我们的系统可以以本机口音或外来口音合成语音。为了支持新演讲者的在线注册，我们将基于Tacotron的合成器设置为通过转移学习从预训练的x矢量演讲者编码器派生的演讲者嵌入。与IPA相比..
三元组训练跨语种tts
coder22的博客
05-08 992
Atriplet由anchor、正样本和负样本组成。 三元组损失是一种成对损失，它最小化锚样本和正样本表示之间的距离，同时最大化锚点和负样本之间的距离。 triplet loss encourages the pronunciation of the synthesizedforeign speech to be close to that of the native anchor speaker,while maintaining the speaker identity of its own 分俩阶
基于 RTVC-7 Voice Cloning Model 的 Cross-Lingual TTS 的三步走: 第二步 Tuned-EarSpeech 跨语言实验观察
ruclion的专栏
03-11 151
0. 说明 把 LJSpeech 的作为 reference, 以及 DataBaker EN 的 首先仍然用 7k 的那个 ckpt 虽然目前训练到了 126k, 但是保持和之前不跨语言的对比, 所以不用 (单独开一篇博客, 记录实验观察 (二)) 1.选取 Reference Speech ...
有什么语音合成方法可以提高语音合成质量
最新发布
06-10
2. 基于端到端的语音合成：利用端到端的语音合成方法，可以通过单一的神经网络模型直接将文本转换为语音，避免了传统语音合成方法中多个子系统之间的复杂交互，从而提高了语音合成的质量和效率。 3. 基于样式转换的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值