【深度学习】综述 efficient vision transformers ，algorithms, techniques, and performance benchmarking

https://ar5iv.labs.arxiv.org/html/2309.02031

摘要

Vision Transformer (ViT) 架构在计算机视觉应用中越来越受欢迎和广泛应用。其主要特点是通过自注意力机制提取全局信息，性能优于早期的卷积神经网络。然而，ViT的部署和性能随着其规模、可训练参数数量和操作数量的增加而稳步增长。此外，自注意力的计算和内存成本随着图像分辨率的增加呈二次方增长。一般而言，由于许多硬件和环境限制（如处理和计算能力），在现实世界应用中使用这些架构是具有挑战性的。因此，本综述调查了确保次优估计性能的最有效方法。具体而言，将分析四类高效方法：紧凑架构、剪枝、知识蒸馏和量化策略。此外，引入了一种名为高效错误率（Efficient Error Rate）的新指标，用于标准化和比较影响推理时硬件设备的模型特征，如参数数量、位数、FLOPs和模型大小。总而言之，本文首先从数学上定义了使ViT高效的策略，描述并讨论了最先进的方法，并分析了它们在不同应用场景中的性能。在本文的最后，我们还讨论了开放挑战和有前景的研究方向。

关键词：计算机视觉，计算效率，视觉转换器

1.