Vocoder-free End-to-End Voice Conversion with Transformer Network

最新推荐文章于 2023-11-04 10:38:55 发布
最新推荐文章于 2023-11-04 10:38:55 发布
阅读量512 收藏 1
点赞数
分类专栏： paper笔记
原文链接：https://arxiv.org/abs/2002.03808
版权

时间：2020.2
会议：arxiv
单位：Kyungpook National University，korea

abstract

作者认为之前的encoder-decoder结构，用CNN/RNN消耗大量的计算资源，提出将transformer应用到vc上，且不需要mel spec (MFB)，只用到Amplitude spectrum。

MFB中移除了相位信息。

林林宋
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【论文学习笔记】《Voice Transformer Network》
求求你们别卷了
03-14 855
《Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining》论文学习 文章目录《Voice Transformer Network: Sequence-to-Sequence Voice Conversion Using Transformer with Text-to-Speech Pretraining》论文学习  摘要&n
sub2019ins:A Vocoder-free WaveNet Voice Conversion with Non-Parallel Data
林宋的搬砖流水账
03-11 810
作者：tianxiaohai 单位： 新加坡国立&南洋理工 abstract: 在vc任务中，vocoder是用于feature-2-speech的合成，但是vocoder会造成语音质量的损失，本文提出一个vocoder-free的想法，通过wavenet直接匹配ppgs和waveform samples，做non-parallel的任务，而不需要中间的数据，因而可以避免feature c...
《A VOCODER-FREE WAVENET VOICE CONVERSION WITH NON-PARALLEL DATA》论文笔记
LeavingBook的博客
05-07 243
目录1 Abstract2 Introduction3 Voice Conversion With WaveNet3.1 WaveNet Vocoder3.2 The Limitations 1 Abstract 本文提出一种自由使用声码器的语音转换方案，该方案使用WaveNet和非平行语料进行训练，使用WaveNet将 Phonetic Posterior Grams(PPG)直接映射到波形样本，以此来代替中间特征的处理。这样，我们避免了由声码器和特征转换引起的估计误差。 此外，由于PPG被假定为与说话者
Voice Conversion by Cascading Automatic Speech Recognition and Text-to-Speech Synthesis with Prosody
林宋的搬砖流水账
09-07 552
会议：2020 interspeech 作者：zhangjingxuan 单位：科大讯飞&中科大 文章目录abstractintroduction2. background3. proposed method3.1 ASR en abstract 使用ASR和TTS级联的方法完成语音转换，ASR用科大讯飞的引擎，TTS用transformer，另外加一个prosody encoder产生韵律标记（建模说话人和文本之外的韵律信息）。在inference过程中，从source speech中提取pros
Voice Conversion，语音转换详解——语音信号处理学习（六）
最新发布
m0_56942491的博客
11-04 1111
VC 任务是什么：输入一段声音，输出另一段声音。输出的声音在内容上与输入一样，但音色发生了变化。就像是柯南的领结变声器。用处是什么（必要性）改变 Speaker：不同人说相同的内容效果不一样可以愚弄人可以制作 Personalized TTS（Text-to-Speech），也就是个人化的语音合成系统还可以转换歌声可以保障个人隐私（变声）改变 Speaking Style：讲话的情绪变化。
LPC-Vocoder-master.zip_LPC vocoder_LPC-Vocoder-master_termnfv_vo
09-23
综上所述，"LPC-Vocoder-master.zip"包含了使用VHDL语言实现的LPC Vocoder项目，这个项目可能涉及到硬件级别的语音编码和解码，并且可能有一个名为"termnfv_vo"的模块，用于在虚拟化环境中测试和验证LPC Vocoder的...
FPGA-speech-vocoder-master
05-06
标题"FPGA-speech-vocoder-master"表明这是一个与FPGA（Field-Programmable Gate Array，现场可编程门阵列）相关的项目，特别是用于语音编码器的实现。语音编码器是一种将模拟语音信号转换为数字数据的技术，常用于...
wavenet_vocoder-master_wavenet_
10-03
在"WaveNet Vocoder-master"这个压缩包中，很可能包含了WaveNet Vocoder的源代码、训练脚本以及预训练模型等资源。用户可以借此进行模型的二次开发，调整参数以适应特定任务，或者训练自己的语音合成系统。为了开始...
LPC vocoder-ucla-working-2002.rar_LPC_LPC vocoder_WORKING_predic
07-14
标题中的"LPC vocoder-ucla-working-2002.rar"指的是一个压缩包文件，它包含了一种叫做线性预测编码（LPC）的语音编码技术的实现。这个压缩包可能来自于2002年在加州大学洛杉矶分校（UCLA）进行的研究工作，并且已经...
md380_vocoder-master_vocoder_MD380_
10-01
在"md380_vocoder-master"项目中，我们可以推测这可能是一个开源项目，源自GitHub，专注于MD380对讲机的语音处理。MD380对讲机是一款数字对讲设备，通常用于户外活动、公共安全、商业和工业通信等领域。其数字特性...
粘贴matlab代码-legacy_STRAIGHT:自1999年以来在研究界广泛使用的声码器框架
05-25
粘贴matlab代码旧版直 传统的STRAIGHT是语音分析，修改和重新合成工具的集合。 安装 将MATLAB路径设置为“ src”目录。 快速开始 将以下代码粘贴到MATLAB命令窗口中。 它将复制合成的输出生成到变量“ syntheszed_signal”。 [x, fs] = audioread('vaiueo2d.wav'); f0raw = MulticueF0v14(x,fs); ap = exstraightAPind(x,fs,f0raw); n3sgram=exstraightspec(x,f0raw,fs); syntheszed_signal = exstraightsynth(f0raw,n3sgram,ap,fs); 要使用GNU Octave运行此程序，请加载信号包。 pkg load signal 发行公告 [2018年7月19日； 预发行版]“快速入门”示例也可以在macOS High Sierra（10.13.6）的GNU Octave 4.4.0上正常运行 [2018年7月17日：预发布]添加了文档。 首个版本将于2018年7月24日发布。 [201
开源的语音合成系统WORLD介绍以及使用方法
huashui2009120的博客
07-09 6987
WORLD是一个基于C语言的开源语音合成系统，语音合成主要包括波形拼接和参数合成两种方法，WORLD是一种基于vocoder的参数合成方法，它相比于STRAIGHT的优势是减少了计算复杂度，并且可以应用于实时的语音合成。由于STRAIGHT不是开源的系统，并且在WORLD论文中已经对比了WORLD相比于STRAIGHT无论是在合成的音频质量上还是合成速度上都处于领先优势，所以这里我不准备介绍STR...
语音合成vocoder（一） 概况
热门推荐
xmdxcsj的专栏
05-17 1万+
Question1: vocoder在合成中的角色？？？ 合成概况语音合成主要有波形拼接和参数合成两种方法[1]。波形拼接方法 使用原始语音波形替代参数，合成的语音清晰自然，质量相比于参数合成方法要好。PSOLA（pitch synchronous overlap add）算法可以对拼接单元的韵律特征进行调整。参数合成方法提取参数->HMM建模->合成参数->波形重建 合成中的vocoder
Voice Conversion 项目笔记（含从VCC 2016匿名比赛深挖的各前沿方法性能对比）
数据分析之路
09-01 1万+
voice conversion 基本架构： voice conversion 任务主要由两个步骤构成，特征提取与特征参数转换，对于这两个步骤，都有相应的常用的技术，这两个步骤中常用的技术各种排列组合，就产生了众多VC系统，以下做小汇总。 STEP1：Feature extraction     STEP2：Feature conv
voice conversion 阅读列表
weixin_30443731的博客
07-28 440
1. Continuous ProbabilisticTransform for Voice Conversion --1993 Yannis Stylianou, Member, IEEE, Olivier Capp´e, Member, IEEE, and Eric Moulines, Member, IEEE 2.Voice conversion algoritm base...
p0004--Phonetic posteriorgrams for many-to-one voice conversion without parallel data training
林宋的搬砖流水账
02-20 1198
abstract 非平行训练数据进行voice conversion 首先用一个SI-ASR（speaker-independent 语音识别系统）提取PPGs(Phonetic PosteriorGrams)，这个PPGs可以对应于说话者的发音，并且对应于独立说话者的 说话内容。 然后用DBLSTM（deep bi-LSTM)建模PPGs和target speech声学特征之间的关系 ps.用...
Parallel-data-free voice conversion using cycle-consistent adversarial networks
林宋的搬砖流水账
12-24 749
会议：EUSIPCO 2018 单位：日本NTT 1. abstract 本文实现不需要平行数据，不需要额外的数据，模型，对齐方式实现的高质量，通用的语音转换。用带门控CNN的CycleGAN-VC实现，用adversarial 和cycle consistent loss同时进行正向和反向的映射，从而在不匹配的数据中找到最佳的伪对（psedu paired)。 2. introduction a...
[论文笔记] Phonetic posteriorgrams for many-to-one voice conversion without parallel data training
currycode
01-04 4282
基于PHONETIC POSTERIORGRAMS和非并行数据的多对一语音转换 摘要 本文提出了一种利用非并行训练数据进行语音转换的新方法。该想法是通过从与说话者无关的自动语音识别（SI-ASR）系统获得的语音后验语音（PPG）来在扬声器之间建立桥接。我们假设这些PPG可以表示说话者标准化空间中的语音清晰度并且独立地对应于该段语音的source speaker。所提出的方法首先获得目标语音的P...
语音合成vocoder（二） 基频参数
xmdxcsj的专栏
05-17 5739
基本概念声带每开启和关闭一次的时间就是基音周期（pitch period）,倒数即为音频频率（pitch frequency）[1]。 基音频率取决于声带的大小、厚薄、松紧程度，以及声门上下之间的气压差的效应等。最低可达80Hz，最高可达500Hz，老年男性偏低，小孩女性偏高。它反映了声调的变化。常用方法常用的有自相关方法和倒谱方法 Autocorrelation Function（ACF）运算
Pytorch实现的WaveNet-Vocoder详细教程
"该资源是一个使用Pytorch框架实现的WaveNet-Vocoder项目，适用于音频处理，特别是语音合成领域。项目提供了详细的安装指南和示例，包括在不同环境下的配置，如本地环境和SLURM集群环境。" WaveNet-Vocoder是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值