MelGAN-VC: Voice Conversion and Audio Style Transfer on arbitrarily long samples using Spectrograms

最新推荐文章于 2022-10-08 14:21:26 发布
最新推荐文章于 2022-10-08 14:21:26 发布
阅读量593 收藏
点赞数
分类专栏： paper笔记
原文链接：https://arxiv.org/abs/1910.03713
版权

时间：2019
作者：Marco Pasini

文章目录

abstract

使用GAN网络进行非平行数据的VC变换，而且可以用于音乐上的风格迁移。

3. Model

在这里插入图片描述
对于 M × t M\times t M×t的语音，固定为 M × L M\times L M×L的片段（L<t）,然后每次送入 M × L / 2 M\times L/2 M×L/2的片段给生成器，生成等长的片段，再给判别器。最后把生成的进行拼接。

3.2 Adversarial Loss
  • hinge loss：生成器生成，判别器区分生成的还是真实的
    在这里插入图片描述
3.3 TraVeL Loss

  • 保证转换前后内容一致：通过cosine similarity and euclidean distance保证转换vector的角度和幅度和source一致；

  • cosine_similarity
    在这里插入图片描述
    在这里插入图片描述

  • siamese margin-based contrastive loss
    在这里插入图片描述

3.4 Identity Mapping

尽管有3.3的限制，但是还是有一些文本信息没有保留下来，
在这里插入图片描述

林林宋
关注
专栏目录
音乐风格相关文章调研
林宋的搬砖流水账
02-01 281
1. 【音乐演奏风格转换：莫扎特–贝多芬】A Universal Music Translation Network [2017 NIPS] Facebook AI,Noam Mor introduction: 第一次做音乐风格的转换，比如演奏乐器，题材，和风格。 youtube视频demo—莫扎特风格和贝多芬风格的转换。 2. 【风格转换的效果评估–分类器】Evaluation of Vocal Audio Style Transfer 有的任务在做音乐风格的转换，将一个歌手的音乐转换为另外一个歌手的风格
MelGAN-VC:梅尔甘VC
04-15
梅尔甘VC MelGAN-VC：使用频谱图对任意长样本进行语音转换和音频样式转换 论文： : 使用提供的笔记本电脑对MelGAN-VC进行实验。 要求：Tensorflow 2.0或更高版本。 玩得开心！
SH-SSS丨面向有声读物的跨说话人语音风格迁移
weixin_48827824的博客
10-08 690
该方法可以在给定的说话人缺乏目标朗读风格的真实数据情境下，灵活组合不同音色和风格并合成出整体风格一致的有声读物。特别地，全局模块的输入为多个相邻句子组成的块（chunk），以提高全局尺度建模的稳定性，并更好地建模读物的整体风格；该全局模块还通过两个平行分支，分别提取音色、整体风格类型的隐层表征，并基于可切换对抗分类器（Switchable adversarial classifier，SAC）进行音色表征与风格类型表征的解耦，以便后续灵活组合不同来源的表征，最终实现跨说话人的朗读风格迁移。
语音处理-VC(voice conversion) 语音转换_API实现
曹同学的博客
10-29 1861
代码为标贝开源的资源 来实现语音的转换VC # -*- coding: utf-8 import argparse import json import wave from scipy.io import wavfile import sys import requests import websocket from pathlib import Path import fnmatch import os import time ''' * 发音人列表 * 邻家女声_静静 Vc_jingj
时域神经音频风格迁移代码库_python_Time Domain Neural Audio Style Transfer
06-01
最近发布的音频风格转移方法展示了如何将图像风格转移过程扩展到音频。该方法使用短时间傅立叶变换的幅度、具有随机初始化滤波器的浅层卷积网络以及使用 Griffin-Lim 的迭代相位重建来独立合成音频“内容”和“风格”。在这项工作中，我们探索是否可以直接优化时域音频信号，消除相位重建过程并为实时应用和更高质量的合成开辟可能性。我们探索了直接在时域音频信号上运行的神经网络上的各种风格转移过程，并展示了一种能够进行音频风格化的网络。
voice conversion
不负韶华，加油！
01-04 840
视频： https://www.bilibili.com/video/BV1QE411p7z3?p=9 对应文档： https://zhuanlan.zhihu.com/p/129067006
QT编译BUG解决--error: invalid conversion from ‘Window’ {aka ‘long unsigned int’} to ‘EGLNativeWindowType
中华田园巨龙
06-18 2862
问题 最近在瑞萨的板子上编译QT，使用的是wayland环境，编译过程中出现如下BUG。 compiling camera/qcameraexposure.cpp ../../../hardwareintegration/client/xcomposite-egl/qwaylandxcompositeeglwindow.cpp: In member function ‘void QtWaylandClient::QWaylandXCompositeEGLWindow::createEglSurface()’
voice+conversion.rar_VC GMM_Voice_Conversion_praat with matlab_v
07-13
The MATLAB and Praat code files for performing voice conversion. By: Matthew Hutchinson
[语音信号处理] 说话人转换 voice conversion .CycleGANVC .StarGANVC .
布屿
08-13 7577
语音信号处理的总体结构 从这个总体结构可以看出：无论是语音识别，还是语音编码与合成，输入的语音信号首先要进行预处理。 预处理 对信号进行适当放大和增益控制，并进行反混叠滤波来消除工频信号的干扰。 数字化 将模拟信号转化为数字信号便于用计算机来处理。 提取特征 用反映语音信号特点的若干参数来代表语音。 voice conversion 我的理解：是音色转换。 最近的论文： StarGAN-VC: N...
oracle报12592,ORA-12592: TNS:bad packet
weixin_31981135的博客
04-05 2617
最近碰到一个ORA-12592错误,Client使用WebSphere 连接池连接数据库,交易时失败,重新提交成功. 在Websphere日志中看到这个报错. 我搜索了一下metalink, Troubleshooting guide for ORA-12592 / TNS-12592: TNS: bad packet (文档 ID 373431.1)这篇文章的内容看不明白:PurposeTrou...
EXP-00008: ORACLE error 6550 encountered 报错
makef的博客
01-05 5298
exp  user/passwd    file=/oracle.bak/data.$(date  +%Y-%m-%d).dmp  log=/oracle.bak/data.$(date  +%Y-%m-%d).log   full=y Connected to: Oracle Database 11g Release 11.2.0.1.0 - 64bit Production Export
MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis笔记
qq_41562704的博客
03-10 4061
文章目录简介网络细节生成器总体结构源码分析设计思路判别器总体结构源码分析损失函数实验结果 论文地址：《MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis》 官方源码：github地址 简介 常见的TTS系统不是直接生成音频，而是中间先生成一种声学特征（多数为Mel频谱图），再由声学特征生成音频。Mel...
tf17: “声音大挪移”
MachineLP的专栏
12-25 3420
看见本帖标题，你可能会问：“声音大挪移”是什么鬼玩意，和张无忌有什么关系。 如果你没看过鬼畜，先温习两个：【元首】粉红的回忆、【圣地亚哥金曲】客官不可以。（本帖内容和鬼畜关系不大） 前文《实现谷歌Deep Dream》可生成带有艺术感的图片。其实，还有另一种合成图片的方式，洋文叫Style Transfer，这种方法需要用到两张图片，如下图： 皮特 + Style = 皮特 Style ...
SINGAN: Singing Voice Conversion with Generative Adversarial Networks
林宋的搬砖流水账
10-28 688
会议：APSIPA 2019 作者：Berrak Sisman， Haizhou Li 文章目录abstract:introduction abstract: singing VC是改变歌曲中的说话人音色，需要转换原始中的文本和情感信息（通过word和tone). 创新点：GAN网络来做这件事情，是首次将GAN引入到singing VC并取得比baseline更好的结果。 introduction 歌唱VC输入notes和lyrics（歌词），singing voice conversion is rela
melGAN论文学习
qq_28662689的博客
05-07 2966
MelGAN：用于条件波形合成的生成对抗网络 摘要： 先前的工作（Donahue等人，2018a; Engel等人，2019a）发现，利用GAN生成连续的原始音频波形具有挑战性。在本论文中，我们表明通过引入一组体系结构更改和简单的训练技术，可以可靠地训练GAN以生成高质量的连续波形。主观评估指标（平均意见得分，或MOS）显示了所提出的方法对于高质量Mel谱图反演的有效性。为了建立所提出技术的通用性...
语音合成（TTS)论文优选：Accent and Speaker Disentanglement in Many-to-many Voice Conversion
低调奋进
11-28 714
声明：语音合成（TTS)论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Accent and Speaker Disentanglement in Many-to-many Voice Conversion 本文章是2020.11.17西北工业大学，爱奇艺和标贝联合发表的文章，主要做many-to-many的带口音的VC(声音转换），具体的文章链接如下 https://arxiv.org/pdf/20
【VC】accent conversion 口音转换论文
cxxx17的博客
09-13 831
口音转换
MelGan原理与实践篇
12-15 1466
笔者最近对基于Gan的神经网络Vocoder进行了一系列实验。 简单做一下总结并提出一些列疑问，一起与行业大佬探讨遇到的问题。 先来看melgan的模型结构，包括两部分: Generator（生成器） 和 Discriminator（判别器）。 Generator 输入为mel-spectrogram，输出为raw waveform. 从 mel-spectrogram到 audio的过程很显然是一个上采样的过程。 这里的上采样是由一维反卷积(transpose1d)实现的，上采样的倍数如何确定呢？
NeurIPS 2019 | MelGAN：基于生成对抗网络快速生成音频
Paper weekly
11-19 6752
作者丨武广学校丨合肥工业大学硕士生研究方向丨图像生成谈到数据的生成，很多人都会想到利用生成对抗网络（GAN）去实现，这对于图像和视频这种较易于编码表示的数据是合适的。然而...
key.c(61): warning: #69-D: integer conversion resulted in truncation
最新发布
09-13
警告#69-D: "integer conversion resulted in truncation"通常发生在试图将一个大于其指定类型的整数值赋给该类型时。例如，在C/C++中，如果你有一个`int`类型的变量，但尝试用一个超过`int`能表示范围的大整数赋值，就会触发这个警告。在key.c(61)的代码中，可能是某个地方对一个大整数进行了`int`类型的转换，导致部分数值丢失。 具体操作可以是查看第61行的代码，看是否有这样的情况： ```cpp // 假设变量maxInt是一个int类型，但尝试赋值了一个很大的整数 int someValueThatExceedsIntRange; ... maxInt = someValueThatExceedsIntRange; // 这里可能会触发警告 // 或者是在函数返回值或其他运算过程中可能有类似问题 return someVeryLargeInteger; // 如果someVeryLargeInteger超过了int的范围 ``` 要解决这个问题，你可以考虑使用更大容量的数据类型（如`long`或`long long`），或者明确地进行截断或舍入： ```cpp // 使用long类型来存储大整数 long maxLongValue = someVeryLargeInteger; // 或者使用取模操作避免溢出 if (someValueThatExceedsIntRange > INT_MAX) maxInt = someValueThatExceedsIntRange % INT_MAX; ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值