Hiera：一个没有花哨的分层视觉转换器

摘要

https://arxiv.org/pdf/2306.00989.pdf
现代分层视觉转换器在追求监督分类性能时增加了几种视觉特定组件。 虽然这些组件可以提高准确性和吸引人的浮点运算次数，但增加的复杂性实际上使这些转换器比普通ViT转换器慢。 在本文中，我们认为这种额外的复杂性是不必要的。 通过使用强大的视觉预训练任务(MAE)进行预训练，我们可以从最先进的视觉转换器中去除所有花里胡哨的东西，同时不会丢失准确性。 在此过程中，我们创建了Hiera，这是一种极其简单的分层视觉转换器，它比以前的模型更准确，同时在推理和训练过程中速度更快。 我们在各种图像和视频识别任务上评估了Hiera。 我们的代码和模型可以在https://github.com/facebookresearch/hiera上找到。

1、简介

自几年前由Dosovitskiy等人(2021)引入以来，视觉转换器(Vision transformer, ViTs)在计算机视觉中的几个任务中占据主导地位。虽然结构简单，但它们的准确性(Touvron et al.， 2022)和扩展能力(Zhai et al.， 2021)使它们仍然是当今流行的选择。此外，它们的简单性开启了使用强大的预训练策略，如MAE (He et al.， 2022)，这使得vit的计算和数据训练效率更高。