51-6 Vision Transformer ，ViT 论文精读

已于 2024-01-25 14:00:47 修改
阅读量1.3k 收藏 17
点赞数 21
分类专栏： aiXpilot 智驾大模型 文章标签： transformer 人工智能 深度学习 智慧城市 自动驾驶 gpt-3
于 2024-01-09 19:55:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45035094/article/details/135488183
版权
本文深入解读了Vision Transformer (ViT) 论文，揭示了如何将Transformer架构应用于计算机视觉任务，特别是图像识别。ViT在足够大的数据集上预训练后，可以与最佳卷积神经网络(CNN)相媲美，甚至在某些情况下超越。论文探讨了ViT如何处理遮挡、数据分布偏移和对抗性攻击等问题，展示了其优于CNN的特性。ViT通过将图像分割成patch并输入Transformer，实现了模型的高效扩展，但需要更多的训练资源。实验表明，Transformer在视觉任务上的扩展性优于CNN，尤其是在大规模数据集上。
摘要由CSDN通过智能技术生成

李沐（沐神）、朱毅讲得真的好，干货蛮多，值得认真读很多遍，甚至可以当成多模态大模型基础课程学习。

论文原文: An image is worth 16x16 words: transformers for image recognition at scale。

ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。

如果说过去一年中在计算机视觉领域哪个工作的影响力最大，那应该非vision transformer莫属了，因为他挑战了自从2012年Alex提出以来，CNN卷积神经网络在计算机视觉领域里绝对统治的地位。它的结论

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深圳季连AIgraphX
关注
专栏目录
订阅专栏
51-17 视频理解串讲— MViT，Multiscale Vision Transformer 论文精读
AIgraphX
01-27 1713
通过将多尺度、层次性特征的开创性思想与transformer模型联系起来，提出了用于视频和图像识别的多尺度视觉transformer，MViT。它是建立在stage的核心概念之上，每个stage由多个具有特定时空分辨率和通道维度的Transformer block组成，其主要思想是逐步扩展信道容量，同时从输入到输出网络池化时空分辨率。
【论文精读】 Vision Transformer（ViT）
最新发布
weixin_44934783的博客
02-08 1172
Vision Transformer（ViT）
ViT（Vision Transformer）全文精读
SeptemberH的博客
04-01 1万+
** 1. 相关链接 ：** 原文链接：[2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (arxiv.org) 原文开源代码：GitHub - google-research/vision_transformer Pytorch版本代码：GitHub - lucidrains/vit-pytorch: Implementation of Vision Transformer, a
ViT：Vision Transformer经典论文精读 v2
weixin_51697828的博客
06-20 1070
虽然Transformer架构已经成为NLP任务事实上的标准，但其在计算机视觉中的应用仍然有限。在计算机视觉中，注意力机制要么与卷积网络结合使用，要么用来替换卷积网络的某些组件，同时保持其整体架构不变。我们的研究表明，这种对CNN的依赖是不必要的，直接应用于图像patches序列的纯Transformer可以很好地执行图像分类任务。当在大量数据上进行预训练并迁移到多个中小型图像识别基准任务时，我们提出的Vision Transformer(ViT)相比最先进的卷积网络取得了优异结果，同时需要的计算资源也更少
Vision in Transformer全文翻译
04-14
ViT的全文翻译，结构同原文保持一致。 1.全文翻译的markdown原文件 2.全文翻译的PDF 3..ViT的原文 4.知识点总结的博客http://t.csdn.cn/PLzkf 逐字逐句翻译Vision in Transformer
Vision Transformer综述阅读（1）
qq_42363777的博客
02-02 987
Vision Transformer综述阅读主要内容提要正文 主要内容 提要 根据极客平台 vision transformer综述所记录的学习心得。 正文 这一段用于Decoder中的Mask attention, 注意的点是使用masked_fill填充和使用dropout的位置 图示: class ScaledDotProductAttention(nn.Module): ''' Scaled Dot-Product Attention ''' def __init__(se
《Swin Transformer Hierarchical Vision Transformer using Shifted Windows》论文超详细解读（翻译＋精读）
路人贾的博客
08-07 4560
《Swin Transformer Hierarchical Vision Transformer using Shifted Windows》论文超详细解读（翻译＋精读）
51-11 多模态论文串讲—VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts 论文精读
AIgraphX
01-13 1316
VLMo 是一种多模态 Transformer 模型，即Mixture-of-Modality-Experts ，MoME，混合多模态专家。怎么理解呢？主流 VLP 模型分为两种，一种是双塔结构 (Dual Encoder)，主要用来做多模态检索任务；一种是单塔结构 (Fusion Encoder)，主要用来做多模态分类任务。VLMo 相当于是一个混合专家 Transformer 模型，预训练完成后，使用时既可以是双塔结构实现高效的图像文本检索，又可以是单塔结构成为分类任务。
【计算机视觉】ViT：Vision Transformer 讲解
LJR的博客
03-18 807
ViT vision transformer BERT NLP CV 图像分类 CLS encoder 全局平均池化 Global Average Pooling GAP patch 注意力 attention 归纳偏置 ResNet BiT CNNs 局部相关性（locality）和平移不变性（translation equivariance） Hybrid 预训练 微调 pretrain fine-tune
ViT（Vision Transformer）论文笔记
charles_zhang_的博客
04-06 7096
ViT（Vision Transformer）论文笔记 （AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE） Abstact 虽然Transformer架构已经成为自然语言处理任务的事实标准，但它在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件（替换CNN模型的一部分），同时保持其整体结构。我们表明，这种对CNN的依赖是不必要的，直接应用于图像块序列的 pu
ViT论文阅读
leihuang0822的博客
11-21 1464
1.视觉领域transformer 论文题目：An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale 论文地址：https://arxiv.org/abs/2010.11929 github：GitHub - lucidrains/vit-pytorch: Implementation of Vision Transformer, a simple way to achieve SOTA in vision c
【深度学习】详解 Vision Transformer (ViT)
热门推荐
闻韶
07-18 11万+
【深度学习】详解 Vision Transformer (ViT)
Vision Transformer (ViT)及各种变体
damadashen的博客
05-31 6172
本文主要讲述Vision Transformer的模型架构及其各种变体介绍。
Vision Transformer（1）：ViT源码逐行阅读解析
qq_42418728的博客
09-18 4413
上图是Visual Transformer原文的模型结构展示，可以看到模型包含了几个核心模块： 1.Norm层 2.Multi-Head Attention层 3.MLP多层感知器 一、Norm层 class PreNorm(nn.Module): # fn：前馈网络，包含attention层以及残差结构 ''' param: dim输入维度 fn前馈网络层，选择Multi-Head Attn和MLP二者之一 ''' ...
第十四章 Vision Transformer网络详解
ADICDFHL的博客
06-25 2999
虽然Transformer架构已经成为自然语言处理任务的事实标准，但它在计算机视觉方面的应用仍然有限。在视觉中，注意力要么与卷积网络一起应用，要么用来替换卷积网络的某些组件，同时保持它们的总体结构。我们表明，这种依赖于CNN的做法并非必要的，一种纯Transformer可直接应用于图像块序列上，在图像分类任务中表现非常出色。
【ViT系列（1）】《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》论文超详细解读（翻译＋精读）
路人贾的博客
07-19 4306
ViT论文：《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》论文超详细解读
论文精读--ViT
m0_73202283的博客
02-07 2889
虽然Transformer架构已经成为自然语言处理任务的事实上的标准，但它在计算机视觉上的应用仍然有限。在视觉方面，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们证明这种对cnn的依赖是不必要的，直接应用于图像pactch序列的纯变压器可以很好地完成图像分类任务。
Vision Transformer 论文 + 详解（ ViT ）
like_jmo的博客
08-01 1万+
Vision Transformer 论文 + 详解
vision transformer原文
08-21
Vision Transformer的原文是《An Image is Worth 16x16 Words Transformers for Image Recognition at Scale》，作者介绍了一种使用Transformer模型进行图像分类任务的方法。他们通过将图像拆分成小的图块，将每个图块作为输入，并使用Transformer编码器来学习图像的表示。他们的实验结果表明，Vision Transformer在图像分类任务上取得了很好的性能，甚至超过了传统的卷积神经网络模型。 在该论文发表后不久，作者团队又发表了一篇名为《Scaling Vision Transformer》的论文，介绍了如何将Vision Transformer模型扩展到更大的规模，从而进一步提高图像分类的准确率。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [ViT（Vision Transformer）全文精读](https://blog.csdn.net/SeptemberH/article/details/123730336)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

深圳季连AIgraphX

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值