极简笔记 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

最新推荐文章于 2023-10-18 12:58:17 发布
VIP文章 最新推荐文章于 2023-10-18 12:58:17 发布
阅读量798 收藏 4
点赞数
分类专栏： 极简笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hibercraft/article/details/115098522
版权

极简笔记 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

原文地址https://arxiv.org/abs/2010.11929

本文是第一篇将Transformer结构运用在图像分类任务的paper，方法叫做ViT(vision transformer)
在这里插入图片描述
做法也非常的简单，把输入图片切成多个patch，然后将各个patch拉成向量加上position embedding输入到transformer结构中去。具体做法公式如下：
在这里插入图片描述
其中

最低0.47元/天 解锁文章
Hibercraft
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文研究-一种基于区域不变小波矩的图像相似匹配挖掘方法.pdf
07-22
将小波多尺度分析理论与不变矩理论相结合，提出了一种基于区域不变小波矩的图像匹配挖掘算法和逐步求精的跳跃式搜索策略，将该算法与基于Hu矩和自仿射不变矩特征的图像匹配挖掘算法的性能进行仿真对比分析，得到了较...
【ViT 论文笔记】AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
LarsGyonX的博客
10-19 490
We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks
【翻译】AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
jokerwu192的博客
07-04 1296
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
qq_51691366的博客
10-18 82
尽管 Transformer 已经成为自然语言处理任务事实上的一种标准，但是在计算机视觉上的应用还是非常有限。在计算机视觉领域，注意力机制要么和卷积神经网络一起使用，要么在保持原有网络结构不变的情况下替换局部的卷积运算（例如 ResNet-50 中把其中每某一个残差块使用注意力机制替代）。本文证明对卷积神经网络的依赖不是必要的，原始的 Transformer 可以直接应用在一系列小块图片上并在分类任务上可以取得很好的效果。
论文翻译 | AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
bettii的博客
02-21 1247
AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 一张图片可类比为16*16的单词：transformer用于大规模的图像识别 摘要： transformer的架构目前是自然语言处理的实际标杆，但是在CV领域应用还是受限的。 While the Transformer architecture has become the de-facto standard for natural language pro
(ICLR-2021)一幅图像相当于16X16个words:大规模图像识别的Transformer
顾道长生的知识库
07-21 868
虽然Transformer体系结构已经成为自然语言处理任务的事实上的标准，但它在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们表明，这种对CNN的依赖是不必要的，直接应用于图像块序列的纯transformer可以在图像分类任务中表现得非常好。当对大量数据进行预训练并传输到多个中型或小型图像识别基准(ImageNet、CIFAR-100、VTAB等)时。...
【论文笔记】【ViT】 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
weixin_44866655的博客
04-02 1万+
ViT论文笔记
ICLR21(classification) - 未来经典“ViT” 《AN IMAGE IS WORTH 16X16 WORDS》(含代码分析)
要相信光
08-21 1558
文章目录原文地址论文阅读方法初识相知主要技术相关讨论实验回顾代码分析预制模块Transformer-BlockViT 原文地址 Arxiv原文 论文阅读方法 三遍论文法 初识 文章完整题目《AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》 Transformer本身在NLP领域就已经“大红大紫”了，在CV领域，attention机制本身就已经融入了CNN结构，要么与CNN一同应用，要么代替CNN中的某一
【论文笔记】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT)
qq_42014059的博客
12-23 3469
题目：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 作者：谷歌大脑团队（Dosovitskiy, A., Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, M. Dehghani, Matthias Minderer, Georg Heigold, S. Gelly, J...
【ViT系列（1）】《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》论文超详细解读（翻译＋精读）
路人贾的博客
07-19 2955
ViT论文：《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》论文超详细解读
【论文精读】AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
拟禾的个人技术博客
02-20 1389
跨界进击：从自然语言处理到计算机视觉，深入理解Vision Transformer。
数学建模历年赛题的分析
09-05
数学建模历年赛题的分析. 从问题的解决方法上分析，涉及到的数学建模方法有几何理论、组合概率、统计分析、优化方法、图论、网络优化、层次分析、插值与拟合、差分方法、微分方程、排队论、模糊数学、随机决策、多...
DiffiT- Diffusion Vision Transformers for Image Generation
最新发布
03-26
DiffiT- Diffusion Vision Transformers for Image Generation
ViT:图像值得16x16字
03-19
视觉变形金刚 在PyTorch中实现，这是一种使用变压器样式编码器在视觉分类中实现SOTA的新模型。相关文章。 特征 香草维生素 混合ViT（支持BiTResNets作为骨干网） 混合ViT（支持AxialResNets作为骨干网） ...
Actor-Transformers for Group Activity Recognition.pdf
10-19
CVPR论文
【极简笔记】OpenPose
热门推荐
Hibercraft的博客
02-26 1万+
【极简笔记】Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields 论文地址：https://arxiv.org/abs/1611.08050 文章的核心是提出一种利用Part Affinity Fields（PAFs）的自下而上的人体姿态估计算法。研究自下而上算法（得到关键点位置再获得骨架）而不是自上而下算法（先...
极简笔记 Pyramid Attention Network for Semantic Segmentation
Hibercraft的博客
06-16 9592
极简笔记 Pyramid Attention Network for Semantic Segmentation 本文核心提出PAN，提出Feature Pyramid Attention module（FPA）和Global Attention Upsample module（GAU），引入注意力机制用于语义分割。 文章认为现有分割ASPP模型会导致grid artifact；以及pyr...
极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-un
Hibercraft的博客
01-04 8990
极简笔记 The Lovasz-Softmax loss: A tractable surrogate for the optimization of the intersection-over-union measure in neural networks 本文提出一种Lovasz-Softmax loss，专门正对分割任务的评价指标IoU进行优化设计。由于本文涉及到的数学概念超出所学知识，因...
极简笔记 Meta-Learning for semi-supervised few-shot classification
Hibercraft的博客
03-16 7129
极简笔记 Meta-Learning for semi-supervised few-shot classification 论文地址 https://arxiv.org/pdf/1803.00676.pdf 本篇文章核心是给出了一种用于少样本半监督学习的分类算法。总体思路非常简单，通过一个网络 (Prototypical Network)提取特征，之后对特征进行聚类，聚类中心稳定之后拿去测试...
reduce information loss in transformers for pluralistic image inpainting
03-16
为了减少多元化图像修复中的信息损失，可以采用以下方法： 1. 使用更大的Transformer模型，以增加模型的容量和表达能力，从而更好地保留图像的细节和多样性。 2. 在训练数据中增加更多的多样性图像，以使模型更好地学习不同场景下的图像修复。 3. 使用更好的损失函数，例如结合感知损失和对抗损失，以更好地平衡图像的重建和多样性。 4. 在模型中引入注意力机制，以更好地关注图像中的重要区域，从而更好地保留图像的细节和多样性。 5. 在训练过程中使用更好的优化算法和超参数，以更好地优化模型的性能和多样性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值