How Do Vision Transformers Work

已于 2022-05-25 15:32:12 修改
阅读量1.1k 收藏 10
点赞数
分类专栏： 论文阅读笔记 视觉Transformer 文章标签： 计算机视觉
于 2022-05-14 18:49:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/woshilaixiazaidemiao/article/details/124749270
版权
本文探讨了Vision Transformer（ViT）中的多头自注意力（MSA）机制，分析了MSA与卷积（Conv）的不同，以及如何协调两者以发挥优势。研究发现，MSA在优化网络时起到平滑损失平面的作用，但可能导致非凸优化问题。同时，MSA与Conv在特征融合和滤波特性上互补，提出的AlterNet结构结合了两者的优点，提高了模型性能。
摘要由CSDN通过智能技术生成

原文链接：How Do Vision Transformer Work, in ICLR 2022
代码链接：Github

引入

从CNN的角度来看，MSA可以看成是一种特殊的卷积变换，它作用在整个feature map上，具有大尺寸的核参数，因此MSA应该具有卷积操作的基础能力。但是MSA的长距离依赖建模能力对于模型预测性能的提升，本文作者提出了反对意见，作者认为给予模型适当的距离约束可以帮助模型学习更鲁棒的表示，例如一些局部建模MSA的工作，CSAN和SwinTransformer都仅在小窗口内计算自注意力，不仅在小数据集上表现优异，而且在大型数据集例如Imagenet-21K上达到了更好的性能。基于此，作者提出了针对MSA和ViT的三个核心问题：

  1. 我们需要MSA中的哪些属性来更好的优化网络，MSA的长期依赖建模到底对模型优化起到了怎样的作用？
  2. MSA的操作与Conv有何不同？
  3. 如何协调使用MSA和Conv才能更好的发挥它们各自的优势？

分析

问题一：我们需要MSA中的哪些属性来更好的优化网络，MSA的长期依赖建模到底对模型优化起到了怎样的作用？

结论：作者首先证明了MSA的本质是广义空间平滑操作，其本身的弱归纳偏置会扰乱神经网络的训练。MSA的一

最低0.47元/天 解锁文章
big_hm
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models
weixin_41697507的博客
07-08 1250
How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models Overview The Transformer model in NLP has truly changed the way we work with text data Transformer is behind the recent N...
Scaling vision Transformer 论文理解
最新发布
cnjs1994的博客
06-06 207
基于注意力的神经网络，例如视觉transformer（ViT），最近在许多计算机视觉基准测试上取得了新新进展。模型的规模（大小）是获得优异结果的主要因素。因此，了解模型的规模特性是有效设计后代的关键。虽然已经研究了Transformer语言模型的缩放规律，但尚不清楚Vision Transformers是如何缩放的。为了解决这个问题，我们向上和向下缩放ViT模型和数据，并描述错误率、数据和计算之间的关系。一路上，我们改进了ViT的体系结构和训练，减少了内存消耗，提高了结果模型的准确性。
【阅读笔记】HOW DO VISION TRANSFORMERS WORK?
life__saver的博客
02-22 2964
Abstract 论文围绕三点展开： 1.MSA通过平缓神经网络的loss landscape提升准确度和泛化能力，这种能力来自于data specificity而不是long-range dependency(联系两个较远pixel的关系)。 2.MSA是低通滤波器，Conv是高通滤波器，它们功能互补。 3.提出AlterNet，用MSA块代替一个stage结束时的conv块。 1.Introduction 广泛的观点认为MSA的成功来自于弱归纳偏置(weak induc...
How do vision transformer work?【论文解读】
qq_34845880的博客
03-16 2573
ICLR 2022的spotlight。 原论文地址：https://arxiv.org/abs/2202.06709 你懂的VIT吗？ 论文的核心是在证明VIT的优化曲面对比ResNet要好很多。 Abstract 1、注意力机制有助于提升泛化能力，因为会使损失函数平滑化。 2、VIT的进步是因为数据特异度（specificity）高，不是因为长距离依赖性。（当前很多人认为VIT work的原因是因为VIT的距离比较长，不像CNN只有一个短局部的信息建模） 3、VIT会受非突的损失函数的
How Do Vision Transformers Work? ICLR2022
剑启郁兰的博客
06-01 374
文章” How Do Vision Transformers Work?“ 的报告
ICLR2022《HOW DO VISION TRANSFORMERS WORK?》
weixin_43994864的博客
03-14 3276
论文链接：https://arxiv.org/abs/2202.06709 代码链接：https://github.com/xxxnell/how-do-vits-work
全面分析Vision Transformer如何work的、优势（从低层原理角度）
showfaker_的博客
11-18 1904
从低层原理角度全面解读Transformer如何称霸CV领域
如何运用Python编程语言结合NLP技术进行医疗领域的文本分析工作:用Python结合PyTorch和transformers库进行医疗领域的NER和RE任务
程序员光剑
08-05 917
Chuanqing由约5万份MEDLINE论文组成的医疗文献，共覆盖了近期几十年的医疗领域的研究。内容是包括科学报告、临床记录、病历等信息的医疗文本。该数据集也是目前最为普遍的医疗文本数据集。由中文Medline数据库和ClinicalTrials.gov数据库搜集的10万篇论文组成，既包括各国语言的论文，也包括英文和德文等其它语言的论文。文章从中抽取出的文本，包含了3种实体类型：疾病（disease），药物（drug），症状（symptom）。
HOW DO VISION TRANSFORMERS WORK 总结
w18013886857的博客
11-12 169
HOW DO VISION TRANSFORMERS WORK 总结
【Transformer】12、Do Vision Transformers See Like Convolutional Neural Networks?
呆呆的猫的博客
11-10 2634
文章目录一、背景二、方法 论文链接：https://arxiv.org/pdf/2108.08810.pdf 一、背景 Transformer 现在在视觉方面取得了超越 CNN 的效果，所以作者就有一个问题：Transformer 是如何处理视觉的相关任务的呢？ 基于此，作者对 ViT 和 CNN 在分类任务上进行了一系列分析，发现两者有着很大的不同。 ViT 在所有层上都有更一致的表达特征，而造成这一现象的原因在于 self-attention，self-attention 能够在浅层就聚合全局特征。
Why Transformer works
qq_39397024的博客
01-12 2047
在近年来计算机视觉领域中，transformer似乎全面超越CNN，在各种任务上SotA，特别是swin[1]出来以后。然而有一个问题值得我们去思考，transformer的优势在哪里？为什么能够work？transformer刚在CV领域火起来以后，大书特书其中的多头注意力机制（MSA），我们似乎也同意了，似乎以cnn为代表的局部注意力机制在全局注意力机制的衬托下愈发显得羸弱与不堪。MLP（在cv领域）的死灰复燃[2]似乎也强调了这一点。 然而这是真相吗？ 在后续的研究中发现，将MSA换成MLP、傅里
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
weixin_43791477的博客
05-21 7617
学习笔记 各种注意力机制 MSA, W-MSA, Local Attention,Stride Attention, ...
Vision Transformer学习了什么-WHAT DO VISION TRANSFORMERS LEARN? A VISUAL EXPLORATION
qq_41234663的博客
02-26 985
本文主要阐述了vision transformer学到的东西以及它学习的特点。
[NeurIPS 2022] 消除视觉Transformer与卷积神经网络在小数据集上的差距
Jason_Honey2的博客
01-12 690
本文简要介绍NeurIPS 2022录用的论文“**Bridging the Gap Between Vision** **Transformers and Convolutional Neural Networks on Small Datasets**”的主要工作。该论文旨在通过增强视觉Transformer中的归纳偏置来提升其在小数据集上从随机初始化开始训练的识别性能。本文通过多种操作构建混合模型，增强视觉Transformer捕捉空间相关性的能力和其进行通道多样性表征的能力，弥补了Transform
盘点 | ICLR 2022 迁移学习，视觉Transformer文章总结
shenlanshenyanai的博客
02-15 1569
ICLR 2022一些评分较高比较有意思的，或者偏DG的paper。 01 Oral——A Fine-Grained Analysis on Distribution Shift 文章来自ICLR 2022 Oral: A Fine-Grained Analysis on Distribution Shift 模型对 distribution shifts的鲁棒性在部署时非常重要，域泛化（domain generalization）就是专门研究这个问题的领域。虽然DG已经涌现出了非常多的研究工作，但是
今日arXiv精选：Transformer专题论文推荐
Paper weekly
08-21 468
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。Attentive fine-tuning of Transform...
【18】Vision Transformer：笔记总结与pytorch实现
Clichong
07-29 2703
下面借这篇blog记录一些阅读笔记，如果问题，恳请指出。 前言 paper原文：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 一开始，Transformer在Attention is all you need这篇paper中提出，解决的自然语言中的序列问题，也就是将自然语言的word变成一个sequence问题，但是有效的解决了RNN的无法并行处理的问题，并且其可以考虑全局的咨询，而self-atte.
VisionTransformer之简单总结
画心
01-29 1819
VisionTransformer之简单总结 最近做了一个汇报，这里放一些重要内容。内容主要来自于我自己的阅读总结和综述文章：Transformers in Vision: A Survey.
Vision Transformers
10-07
Vision Transformers是一种用于图像分类的模型，它采用了Transformer架构，并将其应用于计算机视觉任务。其中，ViT（Vision Transformer）是最早提出的一种Vision Transformer模型。ViT通过将图像分割成小的图块（patches），然后将这些图块转换为序列数据，再通过进行自注意力机制的计算得到图像特征表示。这种基于自注意力机制的Transformer模型在图像分类任务中取得了很好的效果。 近期还有一些相关的研究工作提出了改进的Vision Transformer模型。例如，《Swin Transformer: Hierarchical Vision Transformer using Shifted Windows》提出了一种基于Shifted Windows的分层Vision Transformer模型，通过引入窗口位移的方式使得模型能够更好地处理不同尺度的特征。另外，《Visual Transformers: Token-based Image Representation and Processing for Computer Vision》也提出了一种基于Token的图像表示和处理方法，通过将图像像素转换为Token序列来构建Vision Transformer模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值