论文阅读
文章平均质量分 93
争取每周更新一篇深度学习领域的论文,包含翻译,笔记
Brielleqqqqqqjie
简单的事做到极致就是成功
展开
-
语音后验图特征PPG(Phonetic Posteriorgram)特征简介
最近有个数字人的项目,接触了下后验图PPG这个特征。简介PPG的全称是 phonetic posteriorgrams,即语音后验概率,PPG是一个时间对类别的矩阵,其表示对于一个话语的每个特定时间帧,每个语音类别的后验概率。单个音素的后验概率作为时间的函数称为后验轨迹。一般来讲是从目标说话者的语音中,使用与说话者无关的自动语音识别(SI‑ASR)系统来提取PPG。提取到的PPG用作映射不同的说话者之间的关系。PPG包括与时间范围和语音类别范围相对应的值集合,该语音类别对应于音素状态。以[2原创 2021-06-27 22:06:30 · 6249 阅读 · 3 评论 -
CycleGAN在Voice Conversion音色转换上的应用
整理一下CycleGAN在音色转换上的应用原创 2021-05-04 11:15:21 · 2687 阅读 · 3 评论 -
Speech Representation预训练模型综述
最近在看Speech Representation预训练相关的论文,NLP的Bert模型大杀四方后,语音领域也开始涌现一些优秀的预训练模型,比如:Mockingjay,Wav2Vec,PASE,DeCoAR系列。《Probing acoustic representations for phonetic properties》对比了4种预训练语音表征模型的效果,包括mockingjay,wav2vec,vqwav2vec,DeCoAR,实验发现预训练模型得到的特征比传统特征的分类效果更好,泛化性能更好。原创 2021-02-17 13:53:30 · 3976 阅读 · 0 评论 -
AdaGAN:adaptive GAN for many-to-many non-parallel voice converison
文章目录简介Approachproblem formulationAdaIn网络框架转换方法训练和测试方法Loss函数Adversarial lossReconstruction LossContent Preseve LossStyle transfer Loss论文地址:ADAGAN:ADAPTIVE GAN FOR MANY-TO-MANY NON-PARALLEL VOICE CONVERSION简介AdaGAN是用于多对多的非平行数据的语音转换。相比较之前用于VC的GAN模型StarGAN,原创 2020-05-10 16:09:44 · 1642 阅读 · 2 评论 -
AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss笔记
文章目录网络结构说话人编码器内容编码器解码器声码器实验论文:AUTOVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss代码:github地址AutoVC在传统的非平行数据的多对多语音转换任务中表现较好,而且可以实现Zero-shot语音转换(转换为没有听过的语音风格)。整个转换过程分为三步(1)音频->Mel谱图...原创 2020-03-22 21:53:25 · 2414 阅读 · 2 评论 -
MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis笔记
文章目录简介网络细节生成器总体结构源码分析设计思路判别器总体结构源码分析损失函数实验结果论文地址:《MelGAN: Generative Adversarial Networks for Conditional Waveform Synthesis》官方源码:github地址简介常见的TTS系统不是直接生成音频,而是中间先生成一种声学特征(多数为Mel频谱图),再由声学特征生成音频。Mel...原创 2020-03-10 12:40:12 · 4065 阅读 · 2 评论 -
WaveNet笔记
文章目录网络结构实验资料网络结构首先输入数据,进行一维的因果卷积,然后进入到残差块中,残差块是这样的结构:将数据再进行一次空洞卷积,分两路,一路是用tanh()做激活函数,一路是用sigmoid做激活函数,最后又将两路合并,合并完成后,我们在经过一个一维的膨胀卷积,这里得到的输出,我们又会进行两路处理,一路是进入下一次的残差块,一路是往右边发展,经过一个relu激活,一个一维空洞卷积,一个r...原创 2019-12-04 09:53:23 · 1285 阅读 · 0 评论