超级会员免费看
DiffRate是一种针对Vision Transformers的可微压缩率方法，它解决了现有模型压缩率固定的问题，允许自动学习不同层的压缩率。通过令牌排序和压缩率重参数化，DiffRate在保持性能的同时减少了计算成本。实验证明，DiffRate在不微调的情况下，表现优于其他方法。
DiffRate详解：高效Vision Transformers的可微压缩率
0. 引言
就当前的Vision Transformers(例如vit)而言，模型是大规模的。有学者提出使用令牌压缩的方法，即通过修剪(删除)或合并令牌来加速模型训练。尽管最近的先进方法取得了巨大的成功，但是仍需要对令牌的压缩比进行手动设置且数值是固定的。从压缩率出发，作者提出了DiffRate的概念。整篇文章的创新点分为三个部分：
压缩比是可训练的。DiffRate可以将损失函数的梯度传播到压缩比上，压缩比在以前的工作中被认为是一个不可微的超参数。在这种情况下，不同的层可以自动学习不同的压缩率，而不需要额外的开销。修剪和合并令牌可以同时进行。而在以往的作品中，它们是相互隔离的。DiffRate达到了SOTA。大量的实验表明，DiffRate达到了最先进的性能。例如，通过将学习到的分层压缩率应用于现有的ViT-H (MAE)模型，实现了40%的FLOPs减少和1.5倍的吞吐量提高，在没有微调的情况下，在ImageNet上的精度下降了0.16%，甚至优于以前的方法。
论文名称：
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
