[语音信号处理] 说话人转换 voice conversion .CycleGANVC .StarGANVC .

最新推荐文章于 2024-04-19 09:52:07 发布
最新推荐文章于 2024-04-19 09:52:07 发布
阅读量7.5k 收藏 37
点赞数 5
分类专栏： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Yyyyyywly/article/details/99304684
版权
本文探讨语音信号处理中的说话人转换技术，重点介绍了CycleGAN-VC和StarGAN-VC。CycleGAN-VC利用周期一致的对抗网络实现无并行数据的语音转换，而StarGAN-VC通过星形生成对抗网络实现多对多的非并行转换，两者均旨在保留语言信息。
摘要由CSDN通过智能技术生成

语音信号处理的总体结构

图1-1从这个总体结构可以看出：无论是语音识别，还是语音编码与合成，输入的语音信号首先要进行预处理。

预处理

对信号进行适当放大和增益控制，并进行反混叠滤波来消除工频信号的干扰。

数字化

将模拟信号转化为数字信号便于用计算机来处理。

提取特征

用反映语音信号特点的若干参数来代表语音。

voice conversion

我的理解：是音色转换问题的一个分支。

最近的论文：

一.CycleGAN-VC：Parallel-Data-Free Voice Conversion Using Cycle-Consistent Adversarial Networks

CycleGAN-VC：使用周期一致的对抗网络进行并行无数据语音转换
介绍CycleGAN-VC的官方网站：http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc/

面存在困难的逐帧方法[27,30]相比，CycleGAN-VC [29]（[32]中发表）使得学习序列成为可能 - 通过使用具有门控CNN [36]和身份映射损失[37

最低0.47元/天 解锁文章
你愿意和我一起清理内存吗？
关注
  • 5
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks
summer2day的博客
02-25 2530
摘要：图像到图像转换是一类视觉和图形问题，其目标是通过训练学习输入图片的风格，将其映射到框架类似的输出图片中。尽管对于很多任务而言，配对训练数据可遇不可求。我们提出了一种在没有配对的情况下从来源域 X 到目标域 Y 进行图像转换的方式。我们的目标是实现 G:X→ Y，其中 G(X) 的图像分布与使用对抗性损失分布的 Y 难以区分。因为映射非常不完全，我们将其以 F:Y→ X 的方式建立映射，同时引...
【ai特训营】基于StarGANv2-VC的原神音色转换
m0_63642362的博客
12-29 1561
本项目尝试使用starganv2-vc来实现原神不同角色之间的音色转换。
情感语音转换学习
Barbara‘s Blog
03-30 1371
如何描述和表示情感语音？情感可以用分类来描述或维度表示。对于表示情绪的标签，情绪类别方法是表示情绪最直接的方法。最著名的分类方法之一是Ekman的六种基本情绪理论，将情绪分为六个离散的类别，即愤怒、厌恶、恐惧、快乐、悲伤和惊讶，在许多情绪语音合成研究中被采用。然而，这种离散的表示并不寻求模拟人类情感中的微妙差异来控制渲染语音。另一种方法是模拟情绪表达的物理特性。一个例子是罗素的环状模型，由觉醒、效价和支配性定义。
探索创新语音变换：StarGANv2-VC
最新发布
gitblog_00084的博客
04-19 300
探索创新语音变换：StarGANv2-VC 项目地址:https://gitcode.com/yl4579/StarGANv2-VC StarGANv2-VC 是一个基于深度学习的语音转换工具，它允许用户在不改变原始音频内容的情况下，将一个人的声音特征转换为另一个人的声音。这项技术不仅在娱乐领域有着广泛的应用前景，例如虚拟主播、游戏配音等，同时也可能对声音识别和信息安全产生深远影响。 技术解析 S...
StarGAN-VC： non-parallel many-to-many voice conversion with StaGAN
林宋的搬砖流水账
12-29 1395
会议：2018 IEEE Spoken Language Technology Workshop (SLT) 单位：NTT 作者：Hirokazu Kameoka, Takuhiro Kaneko abstract   本文提出StarGAN，优点：（1）no need of parallel data, transcription, time-alignment；（2）一个生成器学习many-t...
CycleGAN-VC3:Voice Conversion by CycleGAN (语音克隆语音转换)：CycleGAN-VC3
04-15
CycleGAN-VC3-PyTorch | 该代码是PyTorch的纸上实现： ，这是有关语音转换/语音克隆的工作。 数据集 风投 用法 训练 例子 演示版 参考 循环GAN-VC3 非并行语音转换（VC）是一种无需使用并行语料库即可学习源语音和目标语音之间的映射的技术。 最近，CycleGAN-VC [3]和CycleGAN-VC2 [2]在此问题上已经显示出令人鼓舞的结果，并已被广泛用作基准测试方法。 但是，由于CycleGAN-VC / VC2对mel谱图转换的有效性不明确，即使比较方法采用mel谱图作为转换目标，它们也通常用于mel-cepstrum转换。 为了解决这个问题，我们研究了CycleGAN-VC / VC2对梅尔谱图转换的适用性。 通过初步实验，我们发现它们的直接应用损害了在转换过程中应保留的时频结构。 为了解决这个问题，我们提出了CycleGAN-V
C语言AD转换远程控制.zip
09-28
首先，AD转换（Analog-to-Digital Conversion，ADC）是将连续变化的模拟信号转化为离散的数字信号的过程，这对于处理物理世界中的传感器数据至关重要。在C语言中，通常会调用特定的库函数或者直接操作硬件寄存器来...
数据采集AD转换实验报告.pdf
03-27
它具有一个自动产生的EOC（End Of Conversion）信号，在转换完成后变为高电平，可以与单片机的INT0中断引脚相连，从而采用中断方式读取转换结果。这款芯片设计包含了8位A/D转换器、8路多路开关以及与微处理器兼容的...
voice+conversion.rar_VC GMM_Voice_Conversion_praat with matlab_v
07-13
The MATLAB and Praat code files for performing voice conversion. By: Matthew Hutchinson
MFCC.rar_MFCC_voice conversion
09-21
MFCC在语音转换（voice conversion）中扮演着关键角色。通过将源语音的MFCC特征转换为目标语音的特征，并用这些新特征重新构造语音，可以实现语音风格的转换。例如，将男声转换为女声，或将一种语言的发音转换为另一...
AD单通道（连续转换模式）实验.zip
09-28
A/D转换是将模拟信号转化为数字信号的过程，这对于许多嵌入式系统和数字信号处理应用至关重要。在这个实验中，可能涉及设置参考电压、选择适当的采样率以及理解转换精度等概念。 基于标签“AD单通道（连续转换模式...
cycle-GAN-for-Makeup:这是关于卸妆的循环gan应用程序
05-01
循环化妆 这是一个关于卸妆的循环gan应用程序。
C语言实现录音并保存
09-22
C语言实现录音保存到本地 自己写的 注释什么很详细！
VoiceConvert 下载可用,amr转wav，wav转amr
04-13
iOS VoiceConvert， amr转wav，wav转amr
GAN最全论文合集
热门推荐
gdtop的个人笔记
11-25 1万+
已经到2019年了，再回来补充补充，坏消息是GAN的热度已经没有那么高了，一是各种各样的应用坑都被踩完了几乎，二是GAN结构以及不容易训练的问题。 相关论文合集： Kaiming He大神论文合集 [深度学习论文从0开始] Transfer Learning[论文合集] Object Detection[论文合集] Reinforcement Learning[论文合集] Unsu...
CycleGAN-VC2音色转换，打造属于你自己的变声器
ASS-ASH的博客
08-16 853
GAN 即 Generative Adversarial Networks ，生成对抗网络。原始的 GAN 想做的是，给定一个随机输入的向量，通过生成器转换之后，生成某种分布中的一个点。比如，生成手写数字。因为我们不知道该怎么定损失函数，仅有生成器的话。怎么定义一个损失函数，可以让生成器生成的越像数字，损失越小呢？很难显式的定义出来。在图像填补的任务中，使用 L1 损失要比使用 GAN 得到图像更模糊。我们可以认为在 GAN 中，引入的判别器给生成器提供了一种全新的损失函数。...
李宏毅DLHLP.10.Voice Conversion.2/2. CycleGAN and starGAN
老毛的博客
10-08 777
文章目录介绍2nd Stage TrainingDirect TransformationCycle GANstarGANReference 介绍 本门课程是2020年李宏毅老师新课：Deep Learning for Human Language Processing（深度学习与人类语言处理） 课程网站 B站视频 公式输入请参考：在线Latex公式 接上节的话题，我们用AE的思想来将content和speaker的特征分开，然后再拼回去，然后再Decoder回原来输入的声音，希望输入和输出的reconst
Voice Conversion 项目笔记（含从VCC 2016匿名比赛深挖的各前沿方法性能对比）
数据分析之路
09-01 1万+
voice conversion 基本架构： voice conversion 任务主要由两个步骤构成，特征提取与特征参数转换，对于这两个步骤，都有相应的常用的技术，这两个步骤中常用的技术各种排列组合，就产生了众多VC系统，以下做小汇总。 STEP1：Feature extraction     STEP2：Feature conv
Cycle-DnGAN学习记录
m0_46702604的博客
04-07 2996
Cycle-DnGAN学习笔记网络架构生成网络判别网络损失函数对抗损失循环一致性损失最终的损失函数参考文献：基于生成对抗网络的沙漠地震记录噪声消减方法研究_王洪洲.caj 网络架构 网络架构是由两个生成器G,F和两个判别器Dx,Dy组成。网络的输入是y中的数据和x中的数据。生成器G被用来拟合G:Y->X的域映射关系；生成器F被用来拟合F:X->Y的域映射关系。 从训练意图上，生成网络依旧是被要求学习某种映射的训练对象，判别网络在训练的过程中更偏向于辅助指导；从结构上，两个生成网络之间首尾相接，构
coordinate_conversioncoordinate_conversion.gcj02towgs84
03-12
这是一个关于坐标转换的问题，我可以回答。GCJ-02是中国国家测绘局制定的地理坐标系统，WGS-84是全球卫星定位系统使用的坐标系统。GCJ-02坐标需要转换为WGS-84坐标，可以使用一些开源的坐标转换库或者在线工具进行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值