「论文阅读」ViT：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

已于 2022-02-13 12:25:29 修改
阅读量4.3k 收藏
点赞数 2
分类专栏： 深度学习点云处理 文章标签： transformer 深度学习 人工智能
于 2022-02-13 12:25:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013609289/article/details/122907362
版权
本文介绍了如何将Transformer模型应用于图像领域，ViT通过将图像分割为小patch并进行线性嵌入，展示了其在大规模数据集上的优越性能，超越了传统的CNN模型。重点讲解了模型架构、Transformer在图像中的应用和与NLP模型的比较。
摘要由CSDN通过智能技术生成

目录

相关工作：

模型总体架构：

​

受到Transformer在NLP中扩展成功的启发，我们尝试将标准Transformer直接应用到图像上，并且尽可能少地进行修改。为此，我们将图像分割成小块，并将这些小块的线性嵌入序列（即图像小方块经过FC层映射到一个抽象空间上）作为变压器的输入。每个小块（Image patches）的处理方式和NLP的词嵌入向量的处理方式相同。

首先Transformer是比较吃数据的，作者在中等规模的数据集ImageNet上面测试了ViT，发现比ResNet的结果要低几个百分点，这也在作者的预料之中，文中给出的分析原因是因为ViT没有CNN那样的归纳偏置。

然鹅，作者在大规模的数据集上的训练，战胜了归纳偏置，战胜了当前模型的最优结果。

相关工作：

Transformer是2017年谷歌提出的，已经成为许多NLP任务的最先进的方法。BERT和GPT都是基于大型Transformer进行微调的预训练模型。

之前的Transformer应用在图像上面的很多工作有：1.对图片的每个像素计算自注意力；2.在图像的局部应用自注意力；3.在不同大小的块中应用注意力

另一个最近的相关模型是图像GPT (iGPT) ，该模型在降低图像分辨率和颜色空间后，将transformer应用于图像像素。该模型以无监督的方式作为生成模型进行训练，结果表示可以微调或线性探测分类性能，在ImageNet上达到72%的最大精度。

模型总

最低0.47元/天 解锁文章
小麋鹿跑了
关注
专栏目录
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
weixin_56836871的博客
02-03 3252
动机： While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. We show that this reliance on CNNs is not necessary and a pure transformer applied directly t
【论文笔记】【ViT】 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
热门推荐
weixin_44866655的博客
04-02 1万+
ViT论文笔记
ViT：An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale
qq_45821275的博客
11-03 674
ViT：An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale
[Transformer]ViT:An Image Is Worth 16X16 Words: Transformers for Image Recognition at Scale
qq_37151108的博客
10-18 447
ViT:An Image is worth 16*16 words:Transformers for image recognition at scale Abstract Transformer已经成为自然语言处理任务中的一种标准模型，但将其用于计算机视觉任务还存在一些限制。在计算机视觉领域，注意力要么与卷积神经网络一起使用，或者用于替换卷积网络中的某些组件，本文认为attention无需依赖CNN，直接对图像序列应用attention就可以达到可观的效果。本文的ViT在大型数据集上训练后，迁移到多个中小
【翻译】AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
jokerwu192的博客
07-04 1811
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
深度学习——ViT：an image is worth 16x16 words: transformers for image recognition at scale
菜到怀疑人生的博客
04-10 1066
文章目录前言ViT的结构ViT的输入分类使用的feature vector实验 前言 ViT使用Transformer的Encoder做图像识别，这篇文章发表在ICLR 2021上，是一片oral文章，具体可见我是链接 其实个人看完transformer后，感觉Transformer更像是一个是一个广义卷积神经，Q、K、V矩阵完全可以看成由多个卷积堆叠在一起组成，只是相比于CNN，Transformer在网络的浅层就通过注意力机制建立了全局视野，其实完全可以尝试在CNN的浅层施加注意力机制，从而建立全局视野
李沐精读论文：ViT 《An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale》
iwill323的博客
12-20 2408
李沐精读论文：ViT 《An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale》 position embedding patch embedding ViT-B/16 vision transformer MLP Head vision transformer
【Paper Note】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
m0_51371693的博客
04-09 219
视觉transformer文章An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
ViT:图像值得16x16字
03-19
视觉变形金刚 在PyTorch中实现，这是一种使用变压器样式编码器在视觉分类中实现SOTA的新模型。相关文章。 特征 香草维生素 混合ViT（支持BiTResNets作为骨干网） 混合ViT（支持AxialResNets作为骨干网） 训练脚本 去做： 训练脚本 支持线性衰减 正确的超级参数 全轴向ViT Imagenet-1K和Imagenet-21K的结果 安装 创建环境： conda env create -f environment.yml 准备数据集： mkdir data cd data ln -s path/to/dataset imagenet 运行脚本 对于非分布式培训： python train.py --model ViT --name vit_logs 对于分布式培训： CUDA_VISIBLE_DEVICES=0,1,2,3 python dist_tra
【论文翻译】VIT:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
栗子菜菜
08-09 1512
VIT摘要介绍相关工作模型VISION TRANSFORMER (VIT)微调和高分辨率实验结论 摘要 虽然Transformer架构在自然语言处理任务中已经成为事实标准，但是它在计算机视觉领域的应用仍然受限。在视觉领域，注意力要么和卷积网络结合使用，要么替换卷积网络中的某些部分，同时保持整体结构不变。本文表明对CNNs的依赖不是必要的，纯转换器（pure transformer）直接应用于图像块（image patches）序列在图像分类任务中能发挥很好的作用。当对大量数据进行预训练并把它转移到多个中型或
An Image Is Worth 16X16 Words: Transformer For Image Recognition At Scale
weixin_45060958的博客
03-26 179
论文背景 Transformer在NLP相关任务中已经取得了非常好的效果，也成为了NLP任务的首选模型。这个方法主要是通过在大型文本语料库上进行预训练，然后针对较小的任务特定数据集进行微调。Transformer的优点是良好的计算效率和可扩展性，这个模型现在可以训练出参数超过100B的模型，性能也没有饱和的迹象。但是在计算机视觉的领域，卷积架构仍然占主导地位，在大规模的图像识别任务上，经典的类ResNet架构仍然是最先进的。 在本文之前已经有研究将标准的Transformer直接应用于图像。主要的做法是将图
【论文阅读】VIT——AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
qq_41488595的博客
03-14 1898
AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 本文的工作非常简单，架构也是很Simple的，利用Transformer中的Encoder来做图像工作，将图像分成N个PXP的patch，拉长之后通过Linear将所得序列pad到固定长度，之后添加相应的position encoding ，并在这些patch序列之前添加一个pos为0的信息，当做最后的分类向
An Image is worth 16*16 words: Transformers for image recognition at scale.
Acmer_future_victor的博客
05-06 866
An Image is worth 16*16 words: Transformers for image recognition at scale. Abstract 虽然Transformer架构已经成为自然语言处理任务的事实标准，但它在计算机视觉方面的应用仍然有限。在视觉上，注意力要么与卷积网络结合使用，要么用来替换卷积网络的某些组件，同时保持它们的整体结构不变。我们表明，这种对CNN的依赖是不必要的，直接应用于图像块序列的纯转换器可以很好地执行图像分类任务。在对大量数据进行预训练并转移到多个中型或小
ViT ——AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE(论文阅读笔记)
weixin_40671425的博客
11-21 3112
ViT 是Google团队于2021年发表在ICLR上的paper， 论文链接：https://arxiv.org/abs/2010.11929 摘要 虽然 Transformer 架构已成为自然语言处理任务事实上的标准，但其在计算机视觉中的应用仍然有限。 在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。 我们表明，这种对 CNN 的依赖是不必要的，直接应用于图像块序列的纯transformer可以在图像分类任务上表现得非常好。 当在大量数...
VIT: An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale(arXiv 2021)
qq_54828577的博客
08-21 887
基于自注意力的架构，尤其是Transformer，已经成为自然语言处理(NLP)中选择的模型。主要的方法是在大型文本语料库上进行预训练，然后在较小的任务特定数据集上进行微调。由于Transformer 的计算效率和可扩展性，训练具有超过100B参数的空前规模的模型成为可能。随着模型和数据集的增长，仍然没有表现出饱和的迹象。然而，在计算机视觉中，卷积架构仍然占主导地位。受到NLP成功的启发，许多作品尝试将CNN类架构与自注意力结合，一些完全取代卷积全部使用自注意力。
【论文阅读笔记】An Image is Worth 16x16 Words: Transformers For Image RECOGNITION At Scale
时光机 °的博客
05-13 1147
在以前的视觉任务中，自注意力都是与CNN结合，或者用于在CNN中增加或者替换block的组成（网络结构的主体保持不变，仍是由stage1, stage2, …, stageN组成）。作者认为这是不必要的。在分类任务上，可以直接将朴素的Transformer用于图像块上，可以得到与SOTA的CNN相媲美的效果。但VIT取得相媲美结果的前提是需要使用更大数据集进行预训练（与NLP一样），然后在中小型数据集（ImageNet、CIFAR100, VTAB）上迁移。
from keras_vit import vit
最新发布
06-04
`from keras_vit import vit` 是一种使用 Keras 实现的 Vision Transformer（ViT）模型。Vision Transformer 是一种新兴的计算机视觉模型，它采用了自注意力机制（Self-Attention Mechanism）来处理图像数据。ViT 将图像分成若干个小块，然后将每个小块转换为向量，再通过多层的自注意力机制来处理这些向量，最终得到整个图像的特征表示。与传统的卷积神经网络（CNN）相比，ViT 可以更好地处理长距离的关系，因此在一些图像分类和目标检测任务上表现出色。 如果您想了解更多关于 ViT 模型的信息，可以参考以下链接： - [An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale](https://arxiv.org/abs/2010.11929) - [Vision Transformer (ViT) - An Image is Worth 16x16 Words](https://analyticsindiamag.com/vision-transformer-vit-an-image-is-worth-16x16-words/) - [Understanding Vision Transformers (ViT) – with Python code](https://www.analyticsvidhya.com/blog/2021/06/understanding-vision-transformers-vit-with-python-code/)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值