用于大规模图像缩放识别的Vision Transformer

最新推荐文章于 2024-08-18 13:51:27 发布
最新推荐文章于 2024-08-18 13:51:27 发布
阅读量2.6k 收藏 14
点赞数 1
文章标签： 网络 python 计算机视觉 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woshicver/article/details/109396700
版权
本文介绍了ICLR 2021会议上的一篇论文，研究了如何使用Transformer进行大规模图像识别。传统上，Transformer在NLP领域表现出色，但由于计算复杂度问题，应用于计算机视觉较少。新方法将图像分成小块，通过Transformer处理，解决了图像识别中的长期依赖问题，且在大量数据训练后性能提升。预训练模型有望在多个基准测试中实现最先进的准确性。
摘要由CSDN通过智能技术生成

在本文中，主要在不作太多技术细节的情况下，解释2021 ICLR会议的新论文“an-image-is-worth-16x16-words-transformers-for-image-recognition-at-scale”的研究成果。

自1960年以来深度学习就已经问世，但促使深度学习真正来到了前列的，是2012年的AlexNet模型，一个卷积网络，由Alex Krizhevsky设计，赢得了年度ImageNet图像分类竞赛的冠军。

  • AlexNet：https://en.wikipedia.org/wiki/AlexNet

  • ImageNet图像分类竞赛：https://en.wikipedia.org/wiki/ImageNet

在接下来的几年里，深度计算机视觉技术经历了一场真正的革命，每年都会出现新的卷积体系结构（GoogleNet、ResNet、DenseNet、EfficientNet等），以在ImageNet和其他基准数据集（如CIFAR-10、CIFAR-100）上创下新的精度记录。

下图显示了自2011年以来ImageNet数据集上机器学习模型的最高精度的进展情况。

然而，在过去的几年里，深度学习最有趣的发展不是在图像领域，而是在自然语言处理（NLP）中࿰

最低0.47元/天 解锁文章
woshicver
关注
视觉Transformer(Vision Transformer)
程序员光剑
07-12 243
视觉Transformer(Vision Transformer) Vision Transformer.
多模态-2020-VIT：用于大规模图像识别的Transformer（2020）
u013250861的博客
03-08 162
虽然Transformer架构已经成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构。论文表明，这种对CNN的依赖不是必要的，直接应用于图像块序列的纯Transformer可以很好地执行图像分类任务。
Vision Transformer
不要錯過才珍惜
12-18 6201
Vision Transformer (ViT)，就在图像识别任务达到了不亚于 ResNet 的精度，并且相较于ResNet 训练所耗费的时间，VIT的训练所耗费的算了减少了一大部分。由于 ViT 模型是从在 NLP 领域特别火的 Transformer 模型改编而来，并且没有对Transformer 内部进行修改，ViT主要的改变就是在输入端，将图像进行了分块和降维，从而将图像变成一种类似于词语编码的表达方式，方便了后续处理。
Vision transformer
最新发布
juluwangriyue的博客
08-18 902
transformer在机器视觉中的应用。
【论文阅读】Vision Transformer
想当咸鱼的猫
09-05 4789
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
CvT：将卷积引入Vision Transformer
qq_47896523的博客
07-01 1094
Vision Transformer (ViT)[10]是第一个完全依赖Transformer架构来获得大规模图像分类性能的计算机视觉模型。ViT设计以最小的修改从语言理解适应Transformer架构[9]。首先，将图像分割成离散的不重叠的小块(例如16 × 16)。然后，这些补丁被当作标记(类似于NLP中的标记)，用特殊的位置编码求和以表示粗略的空间信息，并输入到重复的标准Transformer层中以建模全局关系进行分类。
MaxViT : 多轴Vision Transformer
qq_47896523的博客
07-11 1212
本文提出了一种高效、可扩展的多轴注意力模型，该模型包括两个方面:局部注意力被阻塞和全局注意力被扩张。这些设计选择允许在任意输入分辨率下的全局-局部空间交互，只有线性复杂度。还通过有效地将注意力模型与卷积混合在一起，提出了一个新的架构元素，并相应地提出了一个简单的分层视觉主干，称为MaxViT，通过简单地在多个阶段重复基本构建块。值得注意的是，即使在早期的高分辨率阶段，MaxViT也能够“看到”整个网络的全局。
VIT(vision transformer)结构解析
Accident_xy的博客
12-08 1341
vit
vision_transformer
03-16
视觉变压器 作者：Alexey Dosovitskiy *†，Lucas Beyer *，Alexander Kolesnikov *，Dirk Weissenborn *，翟小华*，Thomas Unterthiner，Mostafa Dehghani，Matthias Minderer，Georg Heigold，Sylvain Gelly，Jakob Uszkoreit和Neil Houlsby *†。 （*）等于技术贡献，（†）等于建议。 由Andreas Steiner准备的开源发行版。 注意：此存储库是从分支和修改的。 介绍 在此存储库中，我们从论文 释放模型，这些模型已在 （ imagenet21k ）数据集上进行了预训练。 我们提供用于微调 / 已发布模型的代码。 模型概述：我们将图像分割成固定大小的块，线性地嵌入每个块，添加位置嵌入，然后将所得的矢量序列馈送到标
VisionTransformer
q1540108857的博客
04-21 300
VisionTransformer，这是首次将Transformer引入CV的一篇文章 simple way to achieve SOTA in vision classification with only a single transformer encoder, in Pytorch. Significance is further explained in Yannic Kilcher’s video. There’s really not much to code here, but may a
Vision Transformer（ViT）
null的专栏
02-26 4101
ViT模型将Transformer引入到图像的分类中，更准确的说是Transformer中的Encoder模块。为了能够尽可能少地对原始模型的修改，在ViT中将图像转换成一维的序列表示，以改成标准的文本形式，通过这种方式实现Transformer在CV中的应用。
Vision Transformer (ViT)
a264672的博客
11-27 1751
文章目录Vision Transformer (ViT)1. 回顾Transformer (TRM)2. ViT2.1. 输入处理2.2. patch embedding（结构图的2）2.3. CLS 和位置编码（结构图的3）2.4. Encoder（结构图的4）2.5. 总结 edited by nrzheng，2021.11.27 参考视频1 参考视频2 参考链接 Vision Transformer (ViT) 1. 回顾Transformer (TRM) transformer网络结构如下图所示：
Vision Transformer(VIT)
北落师门XY的博客
07-08 1488
VIT代表着transformer向cv领域的正式进军，nlp在transformer中将字符转为token，如要将cv中每个像素点作为token，224*224=50176>>512，参数量巨大。VIT提供了一个成功的思路将图像转为一定长度的token又能保留二维空间信息。VIT步骤为：1、将图像切分为patch，如将224*224的图片切成16*16的patch，每个patch的大小为16*16*32、将patch信息拉平，线性层映射为指定位数如768或1024（embedding size)，这一步也
Vision Transformer（VIT）
lyclyc233的博客
03-26 4053
Vision Transformer（ViT）是一种新兴的图像分类模型，它使用了类似于自然语言处理中的Transformer的结构来处理图像。这种方法通过将输入图像分解成一组图像块，并将这些块变换为一组向量来处理图像。然后，这些向量被输入到Transformer编码器中，以便对它们进行进一步的处理。ViT在许多计算机视觉任务中取得了与传统卷积神经网络相当的性能，但其在处理大尺寸图像和长序列数据方面具有优势。
vision transformer 用于图像分割
09-03
Vision Transformer（ViT）用于图像分割的过程如下所述。首先，将图像分割成固定大小的小块。然后，对每个小块进行线性嵌入。接下来，添加位置编码以保留图像中不同小块之间的空间关系。最后，将得到的向量序列输入...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值