- Rithesh Kumar
- Descript, Inc.
- 2023NIPS
code
abstrat
- 44.1k音频编码为8k bps,接近90x压缩比;可以处理speech, music
- codebook collapse: 部分码本没有利用到。----
- quantizer dropout :允许单个模型支持可变比特率,但实际上会损害全带宽音频的质量。-----
method
- 编码器评判的标准:(1)近乎无损的还原;(2)高压缩比;(3)适用于各种信号(speech/music),以及各种采样率和文件格式(mp3/wav);
- 模型和VQ-GANs的结构基本一致,fully conv,Encodec/Soundstream 也是这种模式;
- 激活函数改进:Leaky ReLUs对于捕捉信号中的周期性比较差,替换为Snake activation function,其中α控制信号的周期成分;这个对音频保真度的改进比较明显;【振幅和周期】
- VQ码本:初始化对于训练过程码本的利用率很重要,比如k-means聚类初始化比随机初始化更好一些;如果训练过程中连续多个batch没有用到的码本,再次初始化;但是仍然存在码本利用不足的情况。
- factorized codes :对码本在低维空间进行Factorization decouple(因子解耦);this can be interpreted as a code lookup using only the principal components of the input vector that maximally explain the variance in the data. ----- encoder的embedding是高维的,codebook的dim缩小,通过linear 变换【Factorization decouple】到低维度,
- L2-normalized codes. 对codebook embedding的L2 正则,使得欧几里得距离转换为余弦相似性,这有助于稳定性和质量
- 通过这两点的改进,本模型训练时候可以复用VQ-VAE codebook 以及commitment losses,而不需要k-means初始化以及随机重启;