ViT：Vision Transformer——论文简述

已于 2022-07-15 14:05:35 修改
阅读量499 收藏 2
点赞数
分类专栏： 深度学习 文章标签： transformer 深度学习 ViT
于 2022-07-14 15:16:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43680965/article/details/125782229
版权

一、摘要

相关工作：transformer中的向量是512维的，而做图像分类中输入的图片是224×224，用像素点当输入效率太低；用resnet输出的特征图，序列长度14×14；轴向注意力，在H和W上分别做自注意力等等。

将nlp中的transformer模型搬到cv中。
将一张图片（224×224）分成16×16大小的patch（当作nlp中的单词），patch数量是14×14=196。
cnn有 translation equivariance 和 locality 两个归纳偏置，ViT在中等规模的数据集上比不上，但在JFT-300M上预训练后，ViT能获得更好的结果（图像分类）。

二、模型

在这里插入图片描述
在这里插入图片描述
X：224×224×3
patch：16×16×3 = 768 = D（向量长度）
patch-num：14×14 = 196
Linear Projection（E）：768×768
X×E = [196×768]×[768×768] = 196×768
拼接额外的[class] embedding = 1×768，从而197×768
（图像特征，最后输出的token接mlp做分类）
再加上position embedding = 1×768，总共197×768的tensor进编码器，出来也是197×768
（1D，可学习，更高维的效果不明显，较少数量的patch之间的相对位置信息，容易学到）

具体公式如下：
在这里插入图片描述
编码器中MLP放大 4 倍，再缩小到原维度大小。
自注意力和mlp都加了残差。

三、实验

训练更便宜。
在这里插入图片描述
如果想用 ViT，至少需要 ImageNet-21K 14M 大小的数据集，因为可扩展性 更好。 ；否则cnn更合适，更好的利用 inductive bias，ViT没有特别多 inductive bias，需要更多数据训练。

四、可视化

解释了1D的位置编码的效果同样不错等等。
网络越深，越能学习到很远距离的 pixel 信息。
与contrastive pre-training相结合：MOCOv3

gongyuandaye
关注
专栏目录
机器学习笔记 - vision transformer（ViT）简述
学以致用 知行合一
06-25 1114
视觉转换器 vision_transformer（ViT） 因其令人印象深刻的准确率和计算效率而迅速成为卷积神经网络 （CNN） 在计算机视觉任务中的首选替代品。ViT模型在许多数据集和任务组合中的表现比CNN高出近4倍，从而确立了自己作为非常强大的竞争者的地位。同样，基于转换器的模型已经成为自然语言处理（NLP）的常态，ChatGPT就是一个很好的例子。自注意机制用于对文本中单词之间的依赖关系进行建模，并创建复杂的语言模型。
读论文——ViT（Transformer跨界CV）
y1040468929的博客
12-03 826
1202年，还不知道ViT?
ViT（Vision Transformer）论文笔记
charles_zhang_的博客
04-06 7197
ViT（Vision Transformer）论文笔记 （AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE） Abstact 虽然Transformer架构已经成为自然语言处理任务的事实标准，但它在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件（替换CNN模型的一部分），同时保持其整体结构。我们表明，这种对CNN的依赖是不必要的，直接应用于图像块序列的 pu
【Transformer 论文精读】……ViT……(TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE)
深度不学习！！的博客
06-08 1363
论文题目：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE原文下载连接：https://arxiv.org/pdf/2010.11929.pdf前两天读Transformer最原始的那个论文，基于NLP方向写的，全是NLP的知识点，给我读的痛苦死了，今天这终于来了个CV方向的。论文题目前半段是 就是将图片分解成16 * 16的网格，就像yolo的那个grid cell。这样的话可能将每个小格子当成一个单词
【论文精读】 Vision Transformer（ViT）
weixin_44934783的博客
02-08 1207
Vision Transformer（ViT）
ViT(Version Transformer)原始论文解读
qq_45041871的博客
01-10 4121
ViT(Version Transformer)原始论文解读，该文档标志着图像已经进入transformer预训练时代
vit的概要介绍与分析
最新发布
10-25
以下是一个基于PyTorch的ViT模型项目源码的简述： 项目源码通常包括多个文件和模块，涵盖了数据预处理、模型定义、训练过程、评估方法等各个方面。其中，模型定义部分通常包括Patch Embedding、Transformer Encoder...
简述vision transformer算法
06-09
Vision Transformer（ViT）是一种基于Transformer的图像分类算法。与传统的卷积神经网络（CNN）不同，ViT使用自注意力机制来对图像进行特征提取和分类。 具体来说，ViT将输入图像分割成一个个固定大小的图像块...
【深度学习】（ICCV-2021）PVT-金字塔 Vision Transformer及PVT_V2
zhe470719的博客
05-17 9054
目录详情 详情 名称：Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions 论文：原文 代码：官方代码 笔记参考： 1.语义分割中的Transformer（第三篇）：PVT — 用于密集预测任务的金字塔 Vision Transformer ...
【深度学习】论文阅读：（ICCV-2021））Swin Transformer
zhe470719的博客
03-17 7434
这里写目录标题论文详情VIT缺点改进点核心思想整体结构名称解释 Window、Patch、Token与vit区别结构过程Patch EmbeddingBasicLayerPatch MergingSwin Transform Block==Window Attention==Shifted Window Attention总结 论文详情 名称：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows 地址：原论文 代码：
ViT( Vision Transformer) 多头自注意力机制 计算机视觉领域应用Transformer架构的模型 首次将NLP领域中广泛使用的Transformer模型引入到了CV领域
万有文的博客
05-10 1733
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT[1]算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
ViT（ Vision Transformer）详解
源仔
04-25 9878
VIT详解：( Vision Transformer)：也希望大家Attention all you need。
【计算机视觉】ViT：Vision Transformer 讲解
LJR的博客
03-18 880
ViT vision transformer BERT NLP CV 图像分类 CLS encoder 全局平均池化 Global Average Pooling GAP patch 注意力 attention 归纳偏置 ResNet BiT CNNs 局部相关性（locality）和平移不变性（translation equivariance） Hybrid 预训练 微调 pretrain fine-tune
Vision Transformer(vit)原理分析以及特征可视化
热门推荐
z240626191s的博客
08-29 1万+
Vision Transformer（ViT）是一种基于架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的，并。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了。这样可以。最后，通过对Transformer编码器输出进行分类或回归，可以完成特定的视觉任务。为什么不能直接将transformer直接应用于图像处理中呢？
初识 CV Transformer 之Vision Transformer (ViT)
wuli_xin的博客
08-15 1654
初识 CV Transformer 之Vision Transformer (ViT) 请没有征服不了的高山 0 回顾 Attention Is All You Need RNN、LSTM时序网络，存在一定的问题：1.记忆长度有限，像RNN记忆时序比较短，后面就提出了LSTM；2.无法并行化，即只有计算完t0时刻才能计算t1时刻，计算效率比较低。 Google提出了Transformer，在理论上不受硬件的限制，记忆长度可以无限长，并且可以并行化。 Embedding层有什么用？ Eembe
详解VIT（Vision Transformer)模型原理, 代码级讲解
qq_43449643的博客
01-16 9131
详解VIT（Vision Transformer)模型原理, 代码级讲解
CV攻城狮入门VIT(vision transformer)之旅——VIT原理详解篇
秃头小苏的博客
11-30 6076
​  在上一篇，我已经详细为大家介绍了NLP邻域中的，足足写了10000+字，酝酿了好多天才下笔，也写了很久，自认为写的还算是通俗全面。如若你对Transformer还没什么了解，建议你点击☞☞☞了解详情。​  其实，作为CV程序猿的我们，学习NLP邻域的Transformer更像是被迫之举，毕竟现在基于Transformer的算法在CV邻域可谓是大杀特杀。那么今天我就为大家带来将Transformer引入到视觉物体分类中的一篇文章，标题为download📥📥📥。
视觉Transformer经典论文——ViT、DeiT的与原理解读与实现
CV小菜鸟的博客
03-27 2609
基础模块构建好后，就可以构建完整的ViT网络了。ViT的完整结构如图10所示。图10：ViT网络结构可以看到，假设我们将原始图像切分成3×33 \times 33×3共9个小图像块，最终的输入序列长度却是10，也就是说我们这里人为的增加了一个向量进行输入，我们通常将人为增加的这个向量称为 Class Token。那么这个 Class Token 有什么作用呢？我们可以想象，如果没有这个向量，也就是将N9N=9N9。
VIT Vision Transformer | 先从PyTorch代码了解
忽逢桃林的博客
02-03 1万+
文章原创自：微信公众号「机器学习炼丹术」 作者：炼丹兄 联系方式：微信cyx645016617 代码来自github 【前言】：看代码的时候，也许会不理解VIT中各种组件的含义，但是这个文章的目的是了解其实现。在之后看论文的时候，可以做到心中有数，而不是一片茫然。 VIT类 初始化 和之前的学习一样，从大模型类开始看起，然后一点一点看小模型类： class ViT(nn.Module): def __init__(self, *, image_size, patch_size, num_..
胃肠道疾病图像识别：Vision Transformer多类别识别研究
资源摘要信息:"该项目利用先进的Vision Transformer(ViT)神经网络模型进行胃肠道疾病的图像多类别识别。Vision Transformer模型是一种基于自然语言处理中Transformer结构的深度学习技术，它通过图像分割和特征转换，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值