Vision Transformers：Joint Token Pruning and Squeezing Towards More Aggressive Compression of Vision

源码学习见专栏置顶～

论文作者：Siyuan Wei,Tianzhu Ye,Shen Zhang,Yao Tang,Jiajun Liang

作者单位：MEGVII Technology; Tsinghua University

论文链接：http://arxiv.org/abs/2304.10716v1

项目链接：https://github.com/megvii-research/TPS-CVPR2023

内容简介：

1）方向：Vision Transformers

2）应用：压缩Vision Transformers

3）背景：Vision Transformers在计算机视觉任务中表现出色，但高计算成本限制了它们的实际应用。以前的方法通过剪枝冗余令牌来平衡性能和计算成本，但剪枝策略引起的错误可能导致信息丢失。

4）方法：提出一种新的联合Token Pruning & Squeezing模块（TPS）来压缩Vision Transformers。TPS首先采用剪枝来获取保留和剪枝子集。其次，TPS通过单向最近邻匹配和基于相似性的融合步骤将剪枝令牌的信息挤压到部分保留令牌中。

5）结果：与现有方法相比，该方法在所有令牌剪枝强度下表现更好。特别是在将DeiT-tiny＆small的计算预算缩小到35％时，与ImageNet分类基线相比，它将准确性提高了1％-6％。该方法可以加速DeiT-small的吞吐量，同时其准确性超过DeiT-tiny 4.78％。对各种transformer的实验证明了该方法的有效性，而分析实验证明了我们对令牌剪枝策略错误的更高鲁棒性。