StarGAN-VC2: Rethinking Conditional Methods for StarGAN-Based Voice Conversion

最新推荐文章于 2024-04-12 14:25:29 发布
最新推荐文章于 2024-04-12 14:25:29 发布
阅读量1.9k 收藏 3
点赞数
分类专栏： 论文学习 论文 文章标签： VC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31390999/article/details/102500697
版权

该论文链接原文地址

发表于Interspeech 2019

总体概括：

1.使用了很多损失函数 对抗 分类（区别人） 身份（进一步对目标的映射）循环一致性损失 ，这些损失都来源于STARGA 以及Cycle-GAN。

 

2.一对多 其它很多是一对一  该方法是一对多  此处对应损失函数分类和身份 循环一致性损失  

3.非平行数据  同时论文中表明为何使用非平行数据，因为平行数据很多还需要人工的校正，相较之下还不如直接使用非平行的数据

4.网络结: 引入了一种基于调制的条件方法，该方法能够以特定于域的方式转换声学特征的调制

 

值得一提的是网络结构图，好复杂。。。

哈特谢普苏特
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
starganvc2变声器项目实战及其源码解读
qq_52053775的博客
04-08 406
数据文件目录如下所示，需要注意的是，我们并不能直接对声音进行建模，而需要对声音数据进行预处理，从而得到一系列数值特征，然后对特征进行建模，特征数据存储到processed文件夹中。
StarGAN中的损失函数
方悔读书迟
03-21 2345
学习笔记 论文地址：http://openaccess.thecvf.com/content_cvpr_2018/papers/Choi_StarGAN_Unified_Generative_CVPR_2018_paper.pdf 我们用生成器G把输入的图像x转换为目标域c，通过生成器G输出图像y，即G（x，c）→y。为了便生成器G可以学会灵活地转换输入图像，我们随机生成的目标域标签c。我们的判别...
StarGAN-v2
02-15
StarGAN-v2 客观的： 为了训练单个生成器G，其生成与给定图像x相对应的每个域y的不同图像。 本文中使用的技术术语： 多样的图像：每次给定源图像和域时都产生不同的图像。 （StarGAN的缺点） 域：一组图像，形成视觉上独特的类别。 例如：一个人的性别 样式：每个图像的唯一外观。 例如：发型，化妆等。 潜在空间：一个空间，在该空间上表示压缩数据以删除无关的信息并找到两个数据点之间的基本相似性。 。 阅读更多 网络尝试在每个域的学习样式空间中生成特定于域的样式矢量，并训练G在输出图像中反映这些矢量 网络组成 生成器G ：获取输入图像x和样式代码s以生成输出图像。 样式代码消除了将图像的域提供给G的需求，从而允许G生成所有域的图像。 s旨在表示特定域y的样式，从而消除了向G提供y并允许tit合成所有域图像的必要性。 映射网络F ：获取域（ y ）和潜在代码z （高斯噪声）以
StarGANv2-VC
林宋的搬砖流水账
12-22 1484
会议：2021 interspeech 作者：Yinghao Aaron Li 单位：Columbia University 文章目录abstractintroductionmethodexperimentsdataset abstract StarGAN v2做many-to-many的变声，使用20个英文说话人训练，可以完成any-to-many，cross-lingual， singing voice conversion。 使用style-encoder，可以把plain speech转换成sty
StarGAN v2: Diverse Image Synthesis for Multiple Domains论文总结
最新发布
qq_45965652的博客
04-12 1068
对StarGAN v2这篇论文的理解与总结。
1、生成对抗网络入门
小白的博客
06-30 1486
gan
starganv2-vc.github.io
03-31
starganv2-vc.github.io
Stargan-vc2 代码阅读笔记
feffsdsfdsfd的博客
10-26 441
非并行多域语音转换（VC）是一种在不依赖于并行数据的情况下学习多个域之间的映射的技术。这是重要的，但具有挑战性，因为需要学习多个映射，并且显式监督不可用。最近，StarGAN-VC因其仅使用单个生成器即可解决此问题而备受关注。然而，真实语音和转换语音之间仍然存在差距。为了弥补这一差距，我们重新思考了StarGAN-VC的条件方法，这是在单个模型中实现非并行多域VC的关键组成部分，并提出了一种改进的变体，称为StarGAN-VC2。特别是，我们从两个方面重新思考了条件方法：训练目标和网络架构。
【生成对抗网络 论文泛读】……StarganV1 & StarganV2……
深度不学习！！的博客
10-22 1007
提出 StarGAN 网络模型，仅使用一个 G 和 D 就可以实现多个领域之间图像生成和训练。采用 mask vector 方法控制所有可用域图像标签以实现训练集之间的多领域图像转换。StarGAN 相对于基准模型, 在面部属性转移和面部表情合成的任务中有更好的效果 (具体数据请参看原论文中的实验部分)
StarGANv2
weixin_45685184的博客
03-19 1196
v1和v2的差异 v1中对于domain和attribute的定义 attribute：图像本身显而易见的特征，例如：头发颜色，性别或者年龄等 attribute value：每一个attribute可以有一组value；例如头发颜色可以有：棕色/金色/黑色 domain:：一组图片有相同的attribute value；例如所有头发为黑色的男人女人可以作为一个domain v2中对于domain和style的定义 domain：一组图片从视觉上进行分类； style：每一张图片都有自己的风格 例如
Chapter2-2_Voice Conversion(CycleGAN and StarGAN)
zjuPeco的博客
05-16 625
文章目录1 内容简述2 CycleGAN3 StarGAN 本文为李弘毅老师【Voice Conversion - CycleGAN and StarGAN】的课程笔记，课程视频youtube地址，点这里????(需翻墙)。 下文中用到的图片均来自于李宏毅老师的PPT，若有侵权，必定删除。 文章索引： 上篇 - 2-1 Feature Disentangle 下篇 - 待更新 总目录 1 内容简述 上一篇主要讲了我们在没有多个说话人说同一句话这样的数据集的情况下，用feature disentangle来做
stargan-v2:StarGAN v2-官方PyTorch实施（CVPR 2020）
05-12
StarGAN v2-官方PyTorch实施 StarGAN v2：多个域的多样化图像合成*，* *，*，在CVPR 2020中。（*表示相等的贡献） 论文： : 视频： ： 摘要：良好的图像到图像转换模型应学习不同视觉域之间的映射，同时满足以下属性：1）生成图像的多样性和2）在多个域上的可伸缩性。 现有方法解决了其中一个问题，即对于所有域而言，其多样性有限或具有多个模型。 我们提出了StarGAN v2，这是一个可以同时解决这两个问题的框架，并且在基线之上显示出明显改善的结果。 在CelebA-HQ和新的动物面Kong数据集（AFHQ）上进行的实验验证了我们在视觉质量，多样性和可伸缩性方面的优越性。 为了更好地评估图像到图像的翻译模型，我们发布了AFHQ，具有较大域间和域内差异的高质量动物脸。 代码，预训练模型和数据集可在clovaai / stargan-v2中找到。 宣
StarGAN_v2-Tensorflow:StarGAN_v2的简单Tensorflow实现
04-15
正式的Tensorflow实施开放！ -> StarGAN v2 —非官方TensorFlow实施 ：用于多个域的多样化图像合成 概述 建筑学 发电机 地图网络 样式编码器和鉴别器 用法 ├── dataset    └── YOUR_DATASET_NAME    ├── train           ├── domain1 (domain folder) ├── xxx.jpg (domain1 image) ├── yyy.png ├── ... ├── domain2 ├── aaa.jpg (domain2 image) ├── bbb.png ├── ...
starGan-v2源码+预训练权重，直接可以测试
04-08
人脸的图像生成，AI换脸
PersonReID-TSF:AAAI 2020 论文代码 Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect
05-29
如果您发现此代码对您的研究有用，请考虑引用： @article{jiang2020rethinking, title={Rethinking Temporal Fusion for Video-based Person Re-identification on Semantic and Time Aspect}, author={Xinyang ...
EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
03-18
论文全文：EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks EfficientNet：对卷积神经网络的模型缩放的重新思考
论文阅读Train Large, Then Compress: Rethinking Model Size for Effici
03-25
论文阅读时记录的内容和思考
Spatial-Phase Shallow Learning Rethinking Face Forgery Detection
11-18
Spatial-Phase Shallow Learning Rethinking Face Forgery Detection in Frequency Domain
03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model S
03-25
在阅读论文03-25 周一 论文阅读 Train Large, Then Compress: Rethinking Model Size for Effcient Trainning and Inference of Transformers，的结构按照金字塔原理进行整理
efficientnet: rethinking model scaling for convolutional neural networks
03-16
EfficientNet是一种新型的卷积神经网络模型，它重新思考了模型缩放...它通过使用复合缩放方法，即同时缩放深度、宽度和分辨率，来提高模型的效率和准确性。这种方法可以在不增加计算成本的情况下，显著提高模型的性能。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值