文章目录
工作中接触到了DDSP声码器,但非科班出声的我对这块知识非常陌生,甚至带有一些畏惧的心理,但是为了工作为了进步,必须硬下头皮去啃,相信只要耐心地坚持,没什么能难到我。于是从今天开始,就用这个博客专栏来记录我的学习历程,希望也能帮助到你~
DDSP对应的论文是:DDSP: Differentiable Digital Signal Processing
先翻译一篇来自DDSP论文作者的对DDSP的介绍的文章。
今天,我们很高兴地介绍可微数字信号处理(DDSP)库。通过DDSP,您可以将经典DSP元素(如滤波器、振荡器、混响等)的可解释结构与深度学习的表现力结合起来。
神经网络(如 WaveNet or GANSynth)通常是个黑盒子。它们可以适应不同的数据集,但往往会过度拟合数据集的细节,并且难以解释。而可解释模型(如音乐语法)使用已知结构,因此更容易理解,但难以适应不同的数据集。
DSP (Digital Signal Processing, 没有额外的 “differentiable” D) 是现代社会的支柱之一,与电信、交通、音频和许多医疗技术密不可分。你可以在很多书中学习DSP知识,但如果你不熟悉的话,这里有一些关于音频信号、振荡器和滤波器的有趣介绍。
其关键思想是使用简单的可解释DSP元件,通过精确控制其许多参数来创建复杂的真实信号。例如,如果频率和响应调整正确,一组线性滤波器和正弦振荡器(DSP元件)可以产生逼真的小提琴声音。然而,手动动