https://ar5iv.labs.arxiv.org/html/2309.02031
摘要
Vision Transformer (ViT) 架构在计算机视觉应用中越来越受欢迎和广泛应用。其主要特点是通过自注意力机制提取全局信息,性能优于早期的卷积神经网络。然而,ViT的部署和性能随着其规模、可训练参数数量和操作数量的增加而稳步增长。此外,自注意力的计算和内存成本随着图像分辨率的增加呈二次方增长。一般而言,由于许多硬件和环境限制(如处理和计算能力),在现实世界应用中使用这些架构是具有挑战性的。因此,本综述调查了确保次优估计性能的最有效方法。具体而言,将分析四类高效方法:紧凑架构、剪枝、知识蒸馏和量化策略。此外,引入了一种名为高效错误率(Efficient Error Rate)的新指标,用于标准化和比较影响推理时硬件设备的模型特征,如参数数量、位数、FLOPs和模型大小。总而言之,本文首先从数学上定义了使ViT高效的策略,描述并讨论了最先进的方法,并分析了它们在不同应用场景中的性能。在本文的最后,我们还讨论了开放挑战和有前景的研究方向。
关键词:计算机视觉,计算效率,视觉转换器