Vision Transformer综述

已于 2022-04-01 20:09:10 修改
阅读量679 收藏 1
点赞数
分类专栏： 论文解读 Transformer系列 文章标签： transformer 深度学习 计算机视觉
于 2021-12-19 22:31:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leo0308/article/details/122031337
版权

0 前言

Transformer在NLP领域取得了巨大的成功， 大量研究者开始在视觉领域尝试Transformer, 并取得了很多优于传统CNN网络的结果。
这些研究大致可以归为以下几类：backbone, high/mid-level vision, low-level vision, video processing, muti-modal task, efficient transformer.

下表列出了每一个分类里面的代表性工作， 可以作为一份学习指南。
在这里插入图片描述

1 典型工作

1.1 backbone

下表列出了传统CNN和Transformer 在Imagenet分类上的一些典型工作和结果对比。
在这里插入图片描述

1.2 High/Mid-level vision

下表列出了传统CNN和Transformer 在COCO检测上的一些典型工作和结果对比。
在这里插入图片描述

2 参考

[1] A survey on Vision Transformer

leo0308
关注
专栏目录
Vision Transformer综述翻译
Yore_的博客
03-30 1881
视觉Transformer综述 摘要 ​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会
Transformer系列：Pyramid Vision Transformer （ICCV2021）
weixin_34992700的博客
06-23 2035
PVT overcomes the difficulties of porting Transformer to various dense prediction tasks.
Vision Transformer 综述
qq_38304138的博客
04-01 7304
A Survey on Vision Transformer
Vision Transformer 技术综述
qq_20481015的博客
03-24 858
搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了（一）：https://mp.weixin.qq.com/s/hn4EMcVJuBSjfGxJ_qM3Tw 搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了（二）：https://mp.weixin.qq.com/s/ozUHHGMqIC0-FRWoNGhVYQ 搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了（三）：https://mp.weixin.qq.com/s/d
何恺明MAE大火之后，想梳理下视觉Transformer？这篇综述帮你梳理了100多个
机器学习社区
11-26 923
在这篇论文中，Yang Liu 等几位研究者全面回顾了用于三个基本 CV 任务（分类、检测和分割）的 100 多个视觉 Transfomer。 这段时间，计算机视觉圈有点热闹。先是何恺明等人用简单的掩蔽自编码器MAE证明了 Transformer 扩展到 CV 大模型的光明前景；紧接着，字节跳动又推出了部分指标超过 MAE 的新方法iBOT，将十几项视觉任务的 SOTA 又往前推了一步。这些进展给该领域的研究者带来了很大的鼓舞。 在这样一个节点，我们有必要梳理一下 CV 领域 Transformer 模.
Vision Transformer综述 总篇
想太多的学习日志
06-15 3330
Transformer首先应用于自然语言处理领域，是一种以自我注意机制为主的深度神经网络。由于其强大的表示能力，研究人员正在寻找将变压器应用于计算机视觉任务的方法。在各种视觉基准测试中，基于变压器的模型表现类似或优于其他类型的网络，如卷积和循环神经网络。由于其高性能和较少的视觉特异性感应偏倚需求，变压器正受到计算机视觉界越来越多的关注。在本文中，我们对这些视觉转换器模型进行了综述，并根据不同的任务对其进行了分类，分析了它们的优缺点。我们探讨的主要类别包括骨干网络、高/中级视觉、低级视觉和视频处理。我们还包括
vision transformer综述
04-06
视觉变换器是一种新型的机器学习模型，采用自注意力机制来对图像进行分割、分类、检测等任务。相比传统的卷积神经网络，视觉变换器在参数数量和计算效率上更具优势，且可适应各种尺寸和方向的输入。...
细粒度图像分类上 Vision Transformer 的发展综述
最新发布
01-07
近年来，随着深度学习技术的快速发展，Transformer模型，尤其是Vision Transformer (ViT)，已经在视觉领域展现出了强大的能力，并逐渐被应用于FGIC任务。 Vision Transformer是由BERT在自然语言处理领域的成功启发...
视觉Transformer综述
CV技术指南（微信公众号）
12-26 5478
前几日，华为诺亚，北京大学，悉尼大学共同发表了论文《A Survey on Visual Transformer》，本文针对其重点内容进行翻译概括如下。文末附论文原文和本文完整版下载方式。 导言： Transformer是一种主要基于自注意力机制的深度神经网络，最初是在自然语言处理领域中应用的。受到Transformer强大的表示能力的启发，研究人员提议将Transformer扩展到计算机视觉任务。与其他网络类型（例如卷积网络和循环网络）相比，基于Transformer的模型在各种视觉...
Vision Transformer综述阅读（1）
qq_42363777的博客
02-02 985
Vision Transformer综述阅读主要内容提要正文 主要内容 提要 根据极客平台 vision transformer综述所记录的学习心得。 正文 这一段用于Decoder中的Mask attention, 注意的点是使用masked_fill填充和使用dropout的位置 图示: class ScaledDotProductAttention(nn.Module): ''' Scaled Dot-Product Attention ''' def __init__(se
《视觉Transformer转换器》综述论文
12-27
Transformer是一种主要基于自注意力机制的深度神经网络，最初应用于自然语言处理领域。受Transformer强大的表征能力的启发，研究人员提出将Transformer扩展到计算机视觉任务中。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上都具有竞争力，甚至表现出了更好的性能。
Transformer最新综述
06-10
Transformer 在自然语言处理、计算机视觉、音频处理等许多人工智能领域都取得了巨大的成功，也吸引了学术界和行业研究人员的大量兴趣。到目前为止，已经有各种各样的 Transformer 变体（又名 X-former）被提出，但是，关于这些 Transformer 变体的系统而全面的文献综述仍然缺失。这篇综述对各种 X-former 进行了全面介绍。
博客阅读：图解Transformer（The Illustrated Transformer）
南有芙蕖
10-10 1874
博客阅读：图解Transformer（The Illustrated Transformer） 原文链接：https://jalammar.github.io/illustrated-transformer/ 作者：Jay Alammar 目录博客阅读：图解Transformer（The Illustrated Transformer）前言1.整体结构（A High-Level Look）图的引入（Bringing The Tensors Into the Picture）2.Encoder编码器（No
搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了（五）
算法码上来
03-27 1909
↑ 点击蓝字关注极市平台作者丨科技猛兽审稿丨邓富城编辑丨极市平台极市导读本文为详细解读Vision Transformer的第五篇，主要介绍了MIT HAN LAB 提出的2种构建轻量...
Transformer综述(A Survey on Vision Transformer) 阅读学习笔记（一）----transformer的发展，transformer的基本结构和原理
sazass的博客
03-10 6570
论文综述： 文章主旨：在本文中，我们回顾了这些视觉Transformer模型，将它们分为不同的任务，并分析了它们的优缺点。我们探讨的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理。我们还包括有效的Transformer方法，用于将Transformer推进基于设备的实际应用。此外，我们还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。在本文的最后，我们讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 高/中级视觉处理 高级视觉处理：对图
Vision Transformer 必读系列之图像分类综述
weixin_43955293的博客
07-25 1400
转自openmmlab
Transformer 综述 & Transformers in Vision: A Survey
Flying Bulldog 的博客
08-18 2138
来自自然语言任务的Transformer模型的惊人结果引起了视觉界的兴趣，他们研究了它们在计算机视觉问题中的应用。与长短期记忆( Long short-term memory，LSTM )等循环网络相比，Transformer能够建模输入序列元素之间的长依赖关系，并支持序列的并行处理。与卷积网络不同，Transformer在设计时要求最小的电感偏差，并且作为集合函数自然适用。......
品论文：VISION TRANSFORMER (VIT)
吉米_王
05-31 815
今天上午看了个论文，每当遇到全英文论文的时候，就会发现自己的英文水平属实是太一般，但是看完这篇论文确实是感触良多！！！ 论文标题：《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》 论文作者：Google Research, Brain Team 论文发布时间：2020年11月22日 论文摘要概述： 作者在摘要中表达的信心意思就是：transformer架构目前已经在自然语言处理任.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值