ViT Slimming——联合结构搜索与Patch Selection

Paper地址：https://arxiv.org/abs/2201.00814

GitHub链接：https://github.com/Arnav0400/ViT-Slim

Methods

ViT Slimming是一种简单、有效的结构精简化技术，通过结构搜索与Patch selection的结合，一方面实现了多维度、多尺度结构压缩，另一方面减少了Patch或Token的长度冗余，从而有效减少参数量与计算量。具体而言，为ViT结构中流动的Tensor定义了相应的Soft mask，在计算时将二者相乘，并在Loss function中引入Soft mask的L1正则约束：