Vision Transformer
文章平均质量分 92
看论文
金克丝、
菜
展开
-
<<视觉Transformer>>2021:Bottleneck Transformers for Visual Recognition
本专栏只研究vision Transformer的原理,对实验不做过多研究。 目录 摘要: 一、介绍 二、相关工作 三、方法 四、实验 五、结论 摘要: 我们提出了BoTNet,这是一个概念简单但功能强大的主干架构,它将自注意结合到多个计算机视觉任务中,包括图像分类、目标检测和实例分割。通过在ResNet的最后三个bottleneck blocks中使用全局自注意替换空间卷积,并且不做其他改变,我们的方法在实例分割和对象检测方面显著改善了基线,同时减少了参数。通过Bo...原创 2021-12-28 22:29:13 · 2605 阅读 · 0 评论 -
<<视觉Transformer>>2020:Visual Transformers: Token-based Image Representation and Processing for CV
本专栏只研究vision Transformer的原理,对实验不做过多研究。 目录 摘要: 一、介绍 二、相关工作 三、Visual Transformer 3.1. Tokenizer 3.1.1 Filter-based Tokenizer 3.1.2 Recurrent Tokenizer 3.2. Transformer 3.3. Projector 四、Using Visual Transformers in vision models 五、实验 六、结论 摘要...原创 2021-12-27 22:02:45 · 2196 阅读 · 0 评论 -
<<视觉Transformer>>2021:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
本专栏只研究vision Transformer的原理,对实验不做过多研究。 目录 摘要: 一、介绍 二、相关工作 三、方法 3.1 VISIONTRANSFORMER(VIT) 3.2 FINE-TUNING ANDHIGHERRESOLUTION 四、结论 摘要: 虽然Transformer体系结构已经成为自然语言处理任务的标准结构,但它在计算机视觉上的应用仍然有限。在视觉方面,注意力要么与卷积网络结合使用,要么用于替代卷积网络的某些组件,同时保持其整体结构不变...原创 2021-12-25 16:51:51 · 1463 阅读 · 0 评论