StarGAN-VC语音音色转换

最新推荐文章于 2023-10-26 23:46:59 发布
最新推荐文章于 2023-10-26 23:46:59 发布
阅读量6.7k 收藏 34
点赞数 2
分类专栏： 机器学习 文章标签： 音色转换 StarGAN StarGAN-VC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35576881/article/details/85332583
版权

StarGAN-VC是利用StarGAN的图像到图像翻译原理，来实现“多对多”的非平行数据集下的语音音色转换，其实质是对语音的梅尔能量进行转换。
StarGAN-VC和StarGAN的不同之处：

  1. StarGAN-VC加入了一致性损失（identity loss)
  2. StarGAN-VC将分类器独立出来
  3. StarGAN-VC在生成器和判别中都有连接说话人特征向量的操作
  4. StarGAN-VC使用了GLU激活层

StarGAN-VC结构：

由下图可以看到说话人向量的连接操作和GLU层。

在这里插入图片描述

StarGAN-VC的特点：

对比CycleGAN-VC来说主要有：

  1. 一个模型实现非平行数据集下，“多对多”音色转换
  2. 模型速度比CycleGAN-VC快

StarGAN-VC实现：

pytorch StarGAN-VC

tensorflow StarGAN-VC

明月几时有.
关注
  • 2
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Librosa库——语音识别，语音音色识别训练及应用
m0_59799878的博客
06-07 5614
第三步：制作语音数据，这里的意思就是自己录制不同人声音的音频录音，每个录音长短不做要求，当然个人认为录音时间在20-30秒就可以，至少3个录音音频，因为下面我使用的方法是多分类训练方法，必须3个音频，而且Librosa音频格式一般是WAV、MP3，下面是我用我3个录音来进行训练的音频文件分别是tbb-01.mp3（我直接说话的声音），这3个音频换成你们自己录的音，如果还不理解的咱们评论区见。执行函数，这里我重新录制了一个我自己的声音来进行测试。识别的标签是0，确实是正确的。方法二：使用conda命令。
利用GMM算法实现指定的音色间转换
09-08
利用GMM算法实现Voice conversion，文件中有样例，实现的大体方法见博客，资源来自CodeOcean
CVPR 2020 | 几篇 image-to-image 论文速递
idol24的博客
06-10 2886
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！戳我，查看GAN的系列专辑~！1 Fine-grained Image-to-Image Tr...
【ai特训营】基于StarGANv2-VC的原神音色转换
m0_63642362的博客
12-29 1457
本项目尝试使用starganv2-vc来实现原神不同角色之间的音色转换。
关于 tensorflow 中的卷积&反卷积（以stargan-vc-tf代码为例）
Lukelluke的博客
06-01 819
在stargan-vc模型中，有比较经典的（卷积 & 反卷积）组合，综合参考了github上的implement代码https://github.com/hujinsen/StarGAN-Voice-Conversion 其中，编码者，在Generator部分，采用手动padding，之后采用 def conv2d_layer(inputs, filters, kernel_size, strides, padding: list = None, activation=None, k...
机器学习会议论文（三）StarGAN-VC实现非并行的语音音色转换
千与编程
08-09 3627
1.The address of paper STARGAN-VC: NON-PARALLEL MANY-TO-MANY VOICE CONVERSIONWITH STAR GENERATIVE ADVERSARIAL NETWORKS 论文地址：https://arxiv.org/pdf/1806.02169.pdf 2.The introduction starGAN-VC是将一篇语音方向的论文，在上一篇论文中我们介绍了starGAN的网络结构以及工作原理，以及starGAN是如何实现多域的图像风格迁移
Stargan-vc2 代码阅读笔记
最新发布
feffsdsfdsfd的博客
10-26 376
非并行多域语音转换（VC）是一种在不依赖于并行数据的情况下学习多个域之间的映射的技术。这是重要的，但具有挑战性，因为需要学习多个映射，并且显式监督不可用。最近，StarGAN-VC因其仅使用单个生成器即可解决此问题而备受关注。然而，真实语音和转换语音之间仍然存在差距。为了弥补这一差距，我们重新思考了StarGAN-VC的条件方法，这是在单个模型中实现非并行多域VC的关键组成部分，并提出了一种改进的变体，称为StarGAN-VC2。特别是，我们从两个方面重新思考了条件方法：训练目标和网络架构。
【论文学习笔记】《StarGAN-VC: Non-Parallel M2M Voice Conversion With Star Generative Adversarial Networks》
求求你们别卷了
03-23 1550
《StarGAN-VC: Non-Parallel Many-To-Many Voice Conversion With Star Generative Adversarial Networks》论文学习 文章目录《StarGAN-VC: Non-Parallel Many-To-Many Voice Conversion With Star Generative Adversarial Networks》论文学习  摘要  1 介绍  2 CYCLEGAN 声音转换&nbs
StarGAN-VC： non-parallel many-to-many voice conversion with StaGAN
林宋的搬砖流水账
12-29 1368
会议：2018 IEEE Spoken Language Technology Workshop (SLT) 单位：NTT 作者：Hirokazu Kameoka, Takuhiro Kaneko abstract   本文提出StarGAN，优点：（1）no need of parallel data, transcription, time-alignment；（2）一个生成器学习many-t...
语音中的响度，音调与音色的决定因素
qq_37385726的博客
04-10 3863
目录 一、先验知识 1. 基波与谐波 2. 基音与泛音 二、图解泛音的形成原理 生动形象的视频介绍 三、图解泛音决定音色 写在前面 响度由声源的振幅决定 音调由基波的频率决定 音色由泛音决定 一、先验知识 1. 基波与谐波 基波是原合成的周期信号傅里叶变换后最小频率对应的正弦波 谐波是原合成的周期信号傅里叶变换后频率为最小频率整数倍对应的正弦波 一个周...
stargan：StarGAN-官方PyTorch实施（CVPR 2018）
02-26
StarGAN-官方PyTorch实施 *****新增功能：可从获得StarGAN v2 ***** 该存储库提供了以下论文的官方PyTorch实现： StarGAN：用于多域图像到图像翻译的统一生成对抗网络1,2， 1,2， 2,3，2，2,4， 1,2- 1韩国大学， 2 Clova AI研究，NAVER Corp. 3香港科技大学新泽西学院4 摘要：最近的研究表明，在两个领域的图像到图像翻译中取得了巨大的成功。 但是，由于应为每对图像域分别构建不同的模型，因此现有方法在处理两个以上域时具有有限的可伸缩性和鲁棒性。 为了解决此限制，我们提出了StarGAN，这是一种新颖且可扩展的方法，可以仅使用一个模型就可以对多个域执行图像到图像的转换。 StarGAN的这种统一模型架构允许在单个网络中同时训练具有不同域的多个数据集。 与现有模型相比，StarGAN的翻译图像质量更高，并且具有
Python-StarGANVoiceConversion的一个tensorflow实现
08-11
This is a tensorflow implementation of the paper: StarGAN-VC: Non-parallel many-to-many voice conversion with star generative adversarial networks
stargan-v2:StarGAN v2-官方PyTorch实施（CVPR 2020）
05-12
StarGAN v2-官方PyTorch实施 StarGAN v2：多个域的多样化图像合成*，* *，*，在CVPR 2020中。（*表示相等的贡献） 论文： : 视频： ： 摘要：良好的图像到图像转换模型应学习不同视觉域之间的映射，同时满足以下属性：1）生成图像的多样性和2）在多个域上的可伸缩性。 现有方法解决了其中一个问题，即对于所有域而言，其多样性有限或具有多个模型。 我们提出了StarGAN v2，这是一个可以同时解决这两个问题的框架，并且在基线之上显示出明显改善的结果。 在CelebA-HQ和新的动物面Kong数据集（AFHQ）上进行的实验验证了我们在视觉质量，多样性和可伸缩性方面的优越性。 为了更好地评估图像到图像的翻译模型，我们发布了AFHQ，具有较大域间和域内差异的高质量动物脸。 代码，预训练模型和数据集可在clovaai / stargan-v2中找到。 宣
Python-PyTorch实现的GAN文本语音合成TTS和语音转换VC
08-09
PyTorch实现的GAN文本语音合成(TTS)和语音转换(VC)
starganv2-vc.github.io
03-31
starganv2-vc.github.io
CycleGAN-VC2:CycleGAN（语音克隆语音转换）进行的语音转换
04-01
CycleGAN-VC2-PyTorch|这段代码是用于纸张的PyTorch实现： ，是有关语音转换/语音克隆的工作。 数据集 风投 中国男性演讲者（AISHELL 和） 用法 训练 例子 演示版 参考更新2020.11.17 ：修复的问题：重新实施第二步...
CycleGAN-VC3:Voice Conversion by CycleGAN (语音克隆语音转换)：CycleGAN-VC3
04-15
CycleGAN-VC3-PyTorch|该代码是PyTorch的纸上实现： ，这是有关语音转换/语音克隆的工作。 数据集 风投 用法 训练 例子 演示版 参考循环GAN-VC3非并行语音转换（VC）是一种无需使用并行语料库即可学习源语音和目标...
VC-with-GAN:GAN的语音转换
05-08
带有VC的 CS 753 ASR项目 使用步骤： 运行bash download.sh以准备VCC2018数据集。 运行analyzer.py提取特征并将特征写入二进制文件。 （这需要几分钟。） 运行build.py记录一些统计信息，例如光谱极值和音调。 ...
MaskCycleGAN-VC:Kaneko等人的MaskCycleGAN-VC模型用于非并行语音转换的实现
03-27
MaskCycleGAN-VC是使用CycleGAN进行非并行语音转换的最新方法。 通过将临时蒙版应用于输入梅尔谱图，使用新颖的填充帧辅助任务（FIF）对它进行了训练。 论文： : 资料库贡献者： ， ， 设置 克隆存储库。 git ...
在CycleGAN-VC3语音转换模型包括第一生成器（G_(x→Y)）、第二生成器（G_(Y→X)）及第一判别器（D_Y）、第二判别器（D_X），请写出以各个生成器和判别器的作用和位置关系：
06-08
CycleGAN-VC3语音转换模型的各个生成器和判别器的作用和位置关系如下： 1. 第一生成器（G_(x→Y)）：将输入的源语音x转换为目标语音Y的生成器； 2. 第二生成器（G_(Y→X)）：将输入的目标语音Y转换为源语音x的生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值