【ICML2023】Hiera: 一个无需花哨附加功能的分层视觉Transformer

最新推荐文章于 2025-04-21 16:33:15 发布

数据派THU

最新推荐文章于 2025-04-21 16:33:15 发布

阅读量861

点赞数

文章标签： transformer 深度学习人工智能

原文链接：https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247605951&idx=4&sn=b827dd4930b3ae482ae1f7865b38804e&chksm=e9e05734de97de223eeccdd849f7e73508f18e115b0866e2ef4c9c3663d0b30223e630d3484c&scene=126&sessionid=0

版权

文章介绍了Hiera，这是一种通过预训练简化后的分层视觉Transformer，它在保持甚至提高精确度的同时，减少了推断和训练过程中的复杂性。通过使用MAE（MaskedAutoencoder）预训练方法，Hiera移除了多余的组件，且在图像和视频识别任务中表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

来源：专知
本文为论文介绍，建议阅读5分钟我们创建了Hiera，一种极其简单的分层视觉Transformer，比以前的模型更精确。

现代的分层视觉Transformer已经添加了几个专门针对视觉的组件，以追求监督分类的性能。虽然这些组件带来了有效的精确度和吸引人的FLOP计数，但增加的复杂性实际上使这些Transformer比其原生ViT（Vision Transformer）对应物更慢。在本文中，我们认为这种额外的复杂性是不必要的。通过使用强大的视觉前提任务（MAE）进行预训练，我们可以从最先进的多阶段视觉Transformer中去除所有的附加功能，而不会损失精确度。在此过程中，我们创建了Hiera，一种极其简单的分层视觉Transformer，比以前的模型更精确，同时在推断和训练过程中也更快。我们在图像和视频识别的各种任务上评估了Hiera。我们的代码和模型可以在https://github.com/facebookresearch/hiera 上找到。