视觉Transformer还有哪些点可以研究？怎么应用？

0. 这篇文章干了啥？

今天笔者为大家推荐一篇最新的综述，详细总结了Transformer的网络架构、优化策略、发展方向，还会定期更新Github，研究注意力机制的小伙伴一定不要错过。

注意机制有助于人类视觉系统有效地分析和理解复杂场景，它能够聚焦于图像的关键区域，同时忽略无关紧要的部分。受此概念启发，注意机制已经被引入到计算机视觉（CV）中，以动态地为图像中的不同区域分配权重。这使得神经网络能够专注于与目标任务相关的重要区域，同时忽略不重要的区域。

标准的自注意机制在ViTs中的使用受到了二次计算和内存复杂性的限制，这限制了它处理高分辨率输入并扩展到下游任务的能力。此外，为CV设计Transformer需要一种自适应策略来捕获分层特征描述。这种适应是必要的，因为视觉数据中感兴趣的对象通常具有不同的形状和尺度，需要一种灵活的方法来准确表示和分析遇到的各种视觉模式。此外，ViTs中的标记化过程在提高计算效率方面起着关键作用。对标记化方法（例如重新采样技术）进行仔细考虑和优化，对ViT模型的整体性能有着重要的贡献。高效的标记化不仅有助于更好地计算，还提高了模型处理多样化输入数据的效率。此外，值得注意的是，解决ViTs中自注意机制所面临的挑战涉及到探索各种注意机制，包括空间和通道注意力。这些修改旨在提高计算效率，同时保持性能。

总之，增强ViT的结构对于实现CV中