DAC: High-Fidelity Audio Compression with Improved RVQGAN

最新推荐文章于 2024-08-31 09:52:50 发布
最新推荐文章于 2024-08-31 09:52:50 发布
阅读量251 收藏 9
点赞数 3
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40168949/article/details/141572451
版权
  • Rithesh Kumar
  • Descript, Inc.
  • 2023NIPS
    code

文章目录

abstrat

  • 44.1k音频编码为8k bps，接近90x压缩比；可以处理speech, music
  • codebook collapse: 部分码本没有利用到。----
  • quantizer dropout ：允许单个模型支持可变比特率，但实际上会损害全带宽音频的质量。-----

method

  • 编码器评判的标准：（1）近乎无损的还原；（2）高压缩比；（3）适用于各种信号（speech/music)，以及各种采样率和文件格式（mp3/wav）；
    在这里插入图片描述
  • 模型和VQ-GANs的结构基本一致，fully conv，Encodec/Soundstream 也是这种模式；
  • 激活函数改进：Leaky ReLUs对于捕捉信号中的周期性比较差，替换为Snake activation function，其中α控制信号的周期成分；这个对音频保真度的改进比较明显；【振幅和周期】$snake(x) = x + α1 sin2(αx) $- VQ码本：初始化对于训练过程码本的利用率很重要，比如k-means聚类初始化比随机初始化更好一些；如果训练过程中连续多个batch没有用到的码本，再次初始化；但是仍然存在码本利用不足的情况。
  • factorized codes ：对码本在低维空间进行Factorization decouple（因子解耦）；this can be interpreted as a code lookup using only the principal components of the input vector that maximally explain the variance in the data. ----- encoder的embedding是高维的，codebook的dim缩小，通过linear 变换【Factorization decouple】到低维度，
  • L2-normalized codes. 对codebook embedding的L2 正则，使得欧几里得距离转换为余弦相似性，这有助于稳定性和质量
  • 通过这两点的改进，本模型训练时候可以复用VQ-VAE codebook 以及commitment losses，而不需要k-means初始化以及随机重启；
林林宋
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【论文精读CVPR_2023】DiffSwap: High-Fidelity and Controllable Face Swapping via 3D-Aware Masked Diffusion
zik的博客
07-28 878
【Paper】【Code】暂无>【Project】暂无。感觉效果一般，还有很大的改进空间。本文提出了一种基于扩散模型的高保真可控人脸交换框架DiffSwap。以往的工作依赖于精心设计的网络结构和损失函数来融合来自源人脸和目标人脸的信息，我们将人脸交换重新定义为一个有条件的修复任务，由一个强大的扩散模型执行，该模型由期望的人脸属性（如身份和landmarks).）指导。将扩散模型应用于人脸交换中的一个重要问题是，在训练过程中不能进行耗时的多步采样来获得生成的图像。
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 2774
【CVPR2022】完整论文列表
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 9493
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
CVPR2022论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
【人工智能】NIPS2019 | 2019NIPS论文 | NeurIPS2019最新更新论文~持续更新| NIPS2019百度云下载
热门推荐
中科院AI算法工程师的博客
09-04 2万+
论文下载百度云链接：链接：https://pan.baidu.com/s/100OAXTIOTPoMjbi-dwOcxA 提取码：请关注【计算机视觉联盟】微信公众号，回复：NIPS2019 今天更新到2019年10月11号 目录 今天更新到2019年9月4号 Understanding the Representation Power of Graph Neural Networks i...
S³GAN : High-Fidelity Image Generation With Fewer Labels (2019.03)
AnnChou的博客
05-22 959
##S³GAN : High-Fidelity Image Generation With Fewer Labels (2019.03) 介绍 半监督学习：整个训练集的标签可以从一小部分标记过的训练图像中推断出来，而推断出来的标签可以用作GAN训练的条件信息。 自监督学习：旨在通过设计辅助任务来学习可区别性的视觉特征，如此，目标标签就能够自由获取。这些标签能够直接从训练数据或图像中获得，并为计算...
学习笔记：High-Fidelity GAN Inversion for Image Attribute Editing 用于图像属性编辑的高保真生成对抗网络反演
Qi__Xi的博客
10-05 2597
本文提出了一种新的高保真生成对抗网络（GAN）反演框架，该框架能够在保持良好的图像特定细节的情况下进行属性编辑。为了在不影响可编辑性的前提下提高图像的保真度，我们提出了一种失真协商方法，该方法采用失真图作为高保真重建的参考。在失真协商反演（DCI）中，首先将失真图投影成一个高比率潜图上，然后通过协商融合为基本的低比率潜码补充更多的细节。为了实现高保真的编辑，我们提出了一个自适应失真对齐（ADA）模块，该模块带具有自监督训练方案，弥补了编辑图像和反演图像之间的差距。实验表明，反演和编辑质量都有明显提高。
高保真多声道音频压缩High-Fidelity Multichannel Audio Compression
10-28
### 高保真多声道音频压缩技术概览 #### 一、引言 在数字音频领域，随着多媒体技术的发展和人们对音质需求的不断提高，如何有效地传输和存储高质量的多声道音频成为了一个重要的研究方向。《高保真多声道音频压缩...
AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles
06-28
Developing and testing algorithms for autonomous vehicles in real world is an expensive and time consuming process. Also, in order to utilize recent advances in machine intelligence and deep learning ...
深度学习100问27:什么是截断的BPTT
yyq916的博客
08-31 136
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 686
本次课将使用下列数据集：关于电影评价的数据集。
【王树森】RNN模型与NLP应用(1/9)：数据处理基础（个人向笔记）
hxdxiaoming的博客
08-29 198
为什么国籍要用One-Hot编码而不是直接用数字编码更节省存储空间？
Unet改进13：添加RepVGG||减少冗余计算和同时存储访问
最新发布
m0_51530640的博客
08-31 158
我们提出了一种简单但功能强大的卷积神经网络结构，该结构具有类似vgg的推理时间主体，仅由3 × 3卷积和ReLU堆栈组成，而训练时间模型具有多分支拓扑结构。通过结构重参数化技术实现训练时间和推理时间结构的解耦，将模型命名为RepVGG。在ImageNet上，RepVGG达到了80%以上的top-1精度，据我们所知，这是第一次对一个普通模型。
深度学习基础—彩色图片的卷积运算
sniper_fandc的博客
08-28 458
即假设输入图片是n*n*nc的大小，过滤器是f*f*nc的大小，得到的卷积结果是(n-f+1)*(n-f+1)*nc，其中nc是通道数，这里默认步长为1，不进行padding操作。但是如果想检测不同的边缘特征，比如想同时检测6*6 RGB图像垂直边缘和水平边缘，就可以使用2个3维过滤器（3*3*3），得到两个4*4的输出，把这两个4*4的输出堆叠为4*4*2的输出，这个输出表示同时检查水平和垂直边缘的结果。把这三个过滤器堆叠到一起形成3维过滤器，从而就可以只检测红色的边缘，绿色和蓝色不进行检测。
深度学习速通系列:标准化和归一化
Ven%的博客
08-28 188
也称为Z-score标准化。目的是将数据的分布转换为均值为0，标准差为1的标准正态分布。公式：其中，𝑥x 是原始数据点，𝜇μ 是数据的均值，𝜎σ 是数据的标准差。
深度学习100问33:如何避免梯度消失
yyq916的博客
08-31 119
可以用一些聪明的自适应学习率优化算法，像 Adam、Adagrad 等，它们能根据模型的训练情况自动调整学习率，可贴心啦。像 Xavier 初始化和 He 初始化这些方法，可以根据网络的结构自动调整权重的初始值，让信号在网络里能更好地传播，就像给信号铺了一条顺畅的路。首先呢，选个好的“调味料”，也就是激活函数。当输入是正数的时候，它的梯度始终是 1，不会像有些传统激活函数那样，想象一下在一条长长的路上修一些小道，这样信号就可以直接从一层传到更深的层，不用经过好多层，就不会出现梯度慢慢消失的问题啦。
深度学习100问15:什么是交叉熵误差
yyq916的博客
08-30 679
真实的情况呢，就像是有个“标准答案”，知道红球出现的真正概率分布。而你的猜测呢，就是你给出的预测概率分布。要是差得远呢，交叉熵误差就大。对于不同的情况，比如有好几个类别要猜的时候，就用这个公式：。别被它吓到，其实就是把每个情况的真实概率和预测概率用一种特别的方式算一下差距，然后加起来。- 在分类问题里呀，交叉熵误差就像个严格的老师，它当损失函数，让模型不断学习，变得更聪明，好让预测结果更接近真实结果。- 如果模型猜错了，交叉熵误差会狠狠地“惩罚”它，这样模型就会赶紧改正，更快地学会正确的玩法。
深度学习系列73：使用rapidStructure进行版面分析
kittyzc的博客
08-28 294
项目地址https://github.com/RapidAI/RapidStructure?
diffswap: high-fidelity and controllable face swapping via 3d-aware masked d
10-14
diffswap是一种高保真度和可控性的面部交换技术，通过3D感知遮罩D实现。这项技术的主要目的是将一个人的面部特征与另一个人的面部特征进行交换，同时保持交换后的图像质量，并且提供用户对交换过程的控制。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值