- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ICCV 2021 | Transformer结合自监督学习！Facebook开源DINO
Emerging Properties in Self-Supervised Vision TransformersABSTRACT在 本 文 中 ， 我 们 质 疑 自 监 督 学 习 是 否 为 Vision Transformer (ViT) 提 供 了 新 的 特 性 。除了使自监督方法适应这种架构 的效果特别好这一事实之外，我们还进行了以下观察：首先， 自监督 ViT 特征包含有关图像语义分割的明确信息，而监督 ViT 则不会如此清晰地出现，也没有convnets。其次，这些 特征...
2021-07-31 21:48:55
1328
原创 ICCV 2021 | LeViT: a Vision Transformer in ConvNet‘s Clothing for Faster Inference论文阅读笔记
论文：https://arxiv.org/abs/2104.01136代码（刚刚开源）：https://github.com/facebookresearch/LeViTABSTRACT我们设计了一系列的图像分类体系结构，在优化精度和效率之间权衡。我们的工作利用了基于最新发现注意力的架构，该架构在高度并行处理硬件上具有竞争力。我们回顾了许多文献中的卷积神经网络原理，将其应用于 transformers，特别是分辨率降低的激活图。我们还介绍了视觉 transformers中位置信息整合的新方法
2021-07-30 15:43:48
904
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人