AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss 复现one-hot embedding版本

最新推荐文章于 2024-04-25 09:58:25 发布
最新推荐文章于 2024-04-25 09:58:25 发布
阅读量367 收藏 2
点赞数
分类专栏： 研三-语音合成论文 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013625492/article/details/112466875
版权
该博客介绍了 AUTOVC 模型的 one-hot 版本复现过程，对比了多种实验设置，包括论文参数、mywide、mywide_nolambda 和 ls 版本。实验结果显示，不同参数配置对训练损失和音频转换效果有显著影响，部分配置下实现了成功的声音转换。
摘要由CSDN通过智能技术生成

0. 说明

不同于speaker encoder的版本, 这个是one-hot版本

特性有

  • 好训练
  • 作者也推荐

1. 思路

为了和speaker encoder版本对应上, 只使用VCTK切分的seen的speaker训练

测试的时候, 只能够seen的speaker转seen-speaker

具体小方案为:

  1. 输出改为0, 1, 2, 3,4, 5....
  2. 使用seen_unseen.txt的行数-1来当作字典的值

代码, 略

2. 实验设置

2.1. 论文参数-版

默认版本, 名字叫AutoVC_one_hot, 严格按照论文参数

  • dataloader随机取192, 3s
  • 32降采样, 192 -> 6
  • lstm 32 + 32
  • 说话人 256
  • 没有norm speaker, norm lstm, one-hot向量没有经过能量限制
  • 剩下的都是512, 固定
  • bs=64, 我自己定的

 

2.2. mywide-版

  • dataloader随机取192, 3s
  • 8降采样, 192 -> 24(论文的wide)
  • lstm 256 + 256
  • 说话人 256
  • 没有norm speaker, norm lstm, one-hot向量没有经过能量
最低0.47元/天 解锁文章
ruclion
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss 论文理解
ruclion的专栏
12-21 621
0.Abstract 非并行的多对多语音转换以及零语音转换仍然是未开发的领域。诸如对抗性网络（GAN）和条件变量自动编码器（CVAE）之类的深度样式转换算法已被用作该领域的新解决方案。但是，GAN训练是复杂且困难的，并且没有强有力的证据表明其生成的语音具有良好的感知质量。另一方面，CVAE训练很简单，但不具备GAN的分布匹配特性。在本文中，我们提出了一种style transfer scheme，该方案仅涉及具有精心设计的瓶颈的自动编码器。我们正式表明，该方案仅通过对自重构损失进行训练就可以实现...
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss
布屿
08-15 1915
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss Abstract 非并行的多对多语音转换以及zero-shot 语音转换仍然是未被探索的领域。深度风格转移算法，如生成对抗网络（GAN）和条件变分自动编码器（CVAE），正在作为该领域的新解决方案应用。然而，GAN培训是复杂而困难的，并且没有强有力的证据证明其生成的语...
论文阅读 - AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss
zjuPeco的博客
12-10 2976
autovc论文解读
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss笔记
qq_41562704的博客
03-22 2378
文章目录网络结构说话人编码器内容编码器解码器声码器实验 论文：AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss 代码：github地址 AutoVC在传统的非平行数据的多对多语音转换任务中表现较好，而且可以实现Zero-shot语音转换（转换为没有听过的语音风格）。 整个转换过程分为三步（1）音频->Mel谱图...
Semantic Autoencoder for Zero-Shot Learning.pdf
01-09
### Semantic Autoencoder for Zero-Shot Learning #### 摘要 在零样本学习（Zero-Shot Learning, ZSL）领域，传统的模型通常关注于构建一个从特征空间到语义嵌入空间（例如属性空间）的投影函数。然而，这种投影...
malicious-urls-detection-with-autoencoder-neural-networks:使用自动编码器神经网络检测恶意URL
05-24
使用自动编码器神经网络检测恶意URL 该存储库包含使用自动编码器神经网络检测恶意URL的代码源... $ python train_and_test_urls_autoencoder.py 如果您想生成新的丰富数据，可以运行： $ python enrich_urls_data.py
time-series-autoencoder:Pytorch双注意LSTM自动编码器，用于多元时间序列预测
05-01
下载和依赖项要克隆存储库，请运行： git clone https://github.com/JulesBelveze/time-series-autoencoder.git要安装所有必需的依赖项，请运行： pip install -r requirements.txt用法python main.py [-h] [--batch...
matlab人检测设计GUI代码-PhysioBank-ECG-Scrape-LSTM_Autoencoder:PhysioBank-ECG-
05-28
matlab人检测设计GUI代码PhysioBank ATM ECG心跳数据中的异常检测 众所周知，由MIT维护的PhysioBank ECG ATM很难抓取，因为它旨在阻止用户在检测到任何形式的自动化后立即访问该站点。 为了避免这种情况，我编写了一...
Dimensionality-Reduction-with-Autoencoder:使用自动编码器进行降维和特征提取
05-18
Python 3.6及更高版本 TensorFlow 1.6.0及更高版本 脾气暴躁的 Matplotlib 执行 该实现使用MNIST数据集来重建输入。 由于MNIST图像的形状为28 * 28，因此输入为784。我们的模型将是3层，每层减少特征，并在解码器...
Voice_Style_Transfer:受盖蒂等人在图像领域工作的启发，尝试进行语音传输。 使用两个预先训练的网络（Wavenet和说话者识别）来感知风格和上下文损失
05-03
Voice_Style_Transfer 该项目的目标是在音频样本之间提取并传输有意义的语音功能，而不会丢失音频样本的内容信息。 受盖蒂等人在图像领域工作的启发，尝试进行语音传输。 我们没有使用内容损失和样式损失，而是使用了说话人识别和语音到文本Wavenet中两个预训练网络的感知损失。 预训练网络的代码：Wavenet： : 说话人识别： : 从“语音转文本”网络提取的感知损失保留了音频样本的内容，而“说话人”识别网络的损失则保留了语音功能。 当样式传递对输入执行渐变上升时，我们更喜欢通过膨胀卷积而不是堆叠LSTM构建的语音转文本网络体系结构，以简化训练。 要了解有关神经风格转移和知觉丧失的更多信息，请参考以下链接：
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss 论文代码复现
ruclion的专栏
12-18 951
0. 说明 复现Git的代码, 需要确认 开源代码中speaker encoder部分的pretrained model能够直接提取vctk所有说话人信息 目前同事使用speaker encoder pretrained model提取vctk embedding信息, 训练loss达不到论文写的那么低 导致音色最终的迁移不像 因此需要确认下pretrained speaker encoder是用什么语料训的 ...
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss代码调试过程
12-27 243
论文：AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss 代码实现参考：https://github.com/peisuke/AutoVC.pytorch 下面是测试推理部分的数据结构分析 此存储库是“ AutoVC：仅具有自动编码器丢失的零抖动语音样式传输”的复制代码。 内容编码器Ec：产生语音内容 说话人编码器Es：产生说话人风格 解码器D：由Ec和Es的输出产生语音 转换时，将原语音Mel图送入Ec，将.
自动变声器(AutoVC)：打破语音变换的技术边界
最新发布
gitblog_00074的博客
04-25 505
自动变声器(AutoVC)：打破语音变换的技术边界 autovcAutoVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss项目地址:https://gitcode.com/gh_mirrors/au/autovc 项目简介 是一个开源的深度学习项目，它专注于实现音频信号中的说话人转换——即让一个人的声音听起来像是另一个人在说...
AutoVC实验学习笔记
indowk的博客
08-29 199
该框架由三个模块组成，内容编码器Ec从语音中生成内容嵌入，说话人编码器Es从语音中生成说话人嵌入，解码器D从内容和说话人嵌入中合成语音。metadata.pkl：作者制作的测试集，每一行代表一个说话人信息，第一个元素是说话人id，第二个元素是说话人嵌入，第三个元素是此说话人的某句话的语音mel谱，生成方式见make_spect.py。train.pkl：每一行代表一个说话人信息，每一个说话人信息的第一个元素为说话人，第二个元素为说话人嵌入的平均值，后面的为npy文件的路径。
【论文学习笔记】《AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss》
求求你们别卷了
03-01 2858
《AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss》论文学习 文章目录《AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss》论文学习  摘要  1 介绍  2 相关工作  3 风格转移自动编码器    3.1 问题描述    3.2 自动编码器框架  &nbs
自用AutoVC代码分析笔记
indowk的博客
08-31 108
学习了pytorch的data.Dataset需要重写的方法：__init__（）和__getitem__（）__init__（）：定义了类中的全局变量root_dir就是main.py中的data_dir==/spmelmeta是加载出来的train.pkl临时版，load_data（）是根据mate中的路径加载对应npy文件，并将npy文件中的数据和meta中的说话人、说话人嵌入放在一起，最后会被加载到self.train_dataset里面，__init__（）做了这些处理。
【项目实战】AUTOVC 代码解析 —— model_vc.py
求求你们别卷了
03-16 706
AUTOVC 代码解析 —— model_bl.py 文章目录AUTOVC 代码解析 —— model_bl.py  简介  类解析    LinearNorm      __ init __      forward    ConvNorm      __ init __      forward    En
【项目实战】AUTOVC 代码解析 —— data_loader.py
求求你们别卷了
03-18 664
AUTOVC 代码解析 —— data_loader.py 文章目录AUTOVC 代码解析 —— data_loader.py  简介  类解析    Utterances      __ init __      load_data      __ getitem __      __ len __  函数解析   
"神经网络的发展与深度模型探索：UCAS-AI模式识别2021_09课程总结
在扩展模型部分，介绍了Hopfield网络、DBM、CNN、Autoencoder、RNN、LSTM等模型。特别地，在深度网络部分，详细介绍了Hopefiled网络、玻尔兹曼机、受限玻尔兹曼机和深度信念网络等模型。 人工神经网络是一种模拟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值