2021-vit

最新推荐文章于 2023-12-01 22:01:03 发布
最新推荐文章于 2023-12-01 22:01:03 发布
阅读量783 收藏 2
点赞数
分类专栏： cv-classification 文章标签： transformer 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haizhi1234/article/details/124779289
版权
该博客探讨了如何将Transformer结构从自然语言处理（NLP）迁移到计算机视觉（CV），并进行了预训练和微调实验。论文指出，经过超大数据集预训练的Transformer模型在CV任务上表现出色，特别是在ImageNet-1K，ImageNet-21K和JFT等数据集上的预训练，然后在不同分辨率的下游任务上微调。实验结果显示，预训练数据集越大，Transformer模型的效果越好，特别是在ViT-B/16，ViT-L/16和ViT-H/14等不同规模的模型中。此外，研究还涉及了Transformer与CNN混合架构的比较，并展示了模型的参数和性能指标。
摘要由CSDN通过智能技术生成
论文链接

链接：https://pan.baidu.com/s/1_EFbxCyyT_MwYxeySu6KDA?pwd=w99o
提取码：w99o

问题/目的

将transformer从nlp迁移至cv。

结论

将transformer结构先进行超大数据集预训练，然后迁移至相关cv任务，效果很好。
越大的vit模型配合越大的预训练数据集，效果越好。

创新点

1、网络结构

在这里插入图片描述

  • 将H×W×C的图片拆分成N个P×P×C个patches，N=H×W/P^2。使用一种可训练映射方式将小块flattern到D个，D为Transfomer的每层向量大小（这一条尚未完全理解）。
  • embedding预留第一位z00代表类别。pretrain和fine-tuning时，zl0会接一个分类head（pretrain时为一层的mlp，fine-tuning时为一层全连接）。
  • 输入还包含一个一维的position embeddings（二维在实验中未见收益）。patches和position embeddings共同作为encoder输入。
  • vit的block由MSA和MLP组成。每个block前方
最低0.47元/天 解锁文章
haizhi1234
关注
专栏目录
CLIP-as-service 0.8.0 版本发布：新增支持大型 ONNX 模型文件
Jina AI 的博客
10-24 1547
CLIP-as-service 是一种用于编码图像和文本的低延迟、高可扩展性服务。它可以作为微服务轻松集成到神经搜索解决方案中。???? CLIP-as-service 0.8.0 现已正式发布！本次更新包含 3 个新增功能、1 个性能改进、1 个文档改进。????新功能新增支持大型 ONNX 模型文件 (#828)单个 ONNX 模型文件有2GB大小的限制，更大的 ONNX 模型将被拆分成许多的文件碎片保...
【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
wzk4869的博客
05-30 1万+
【计算机视觉 | 目标检测】术语理解6：ViT 变种（ ViT-H、ViT-L & ViT-B）、bbox（边界框）、边界框的绘制（含源代码）
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
IT菜鸟
10-15 1万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
【ViT】【ICLR 2021】用Transformer做大规模图像识别
youfromme的博客
04-18 5359
作者提出了Vision Transformer（ViT）模型，表明计算机视觉任务对于卷积神经网络的依赖是不必要的，可以利用一个基本的Transformer直接作用于一系列图像块，在图片分类任务中可以取得良好的效果。在大规模数据集上训练后，迁移到中小型数据集进行使用，Vision Transformer可以获得与最好的卷积神经网络相媲美的结果，同时需要的训练资源更少。
【论文阅读】【ViT系列】ViT：一张图片用于大规模图像识别的Transformers（手动翻译）
naive_learner的博客
02-17 1306
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
《Vision Transformer (ViT)》论文精度，并解析ViT模型结构以及代码实现
Flying Bulldog 的博客
06-18 6238
论文共有22页，表格和图像很多，网络模型结构解释的很清楚，并且用四个公式展示了模型的计算过程；本文章对其进行精度，并对源码进行剖析，希望读者可以耐心读下去。
T2T-ViT
03-06
令牌到令牌的ViT：在ImageNet上从头开始培训视觉变形金刚， ... 2021/02/14：更新token_performer.py，现在可以在具有12G内存的4个GPU上训练T2T-ViT-7，T2T-ViT-10，T2T-ViT-12，其他T2T-ViT也可以在4个或4个
LV-ViT：All Tokens Matter: Token Labeling for Training Better Vision Transformers
qq_45122568的博客
07-01 2488
这篇文章是对ViT训练的一种增强方法LV-ViT。以往的Vision Transformer 分类任务都只是应用class token聚集全局信息，用于最后的分类。作者提出将patch token也用作loss的计算。相当于将一张图像的分类问题，转换成了每个token的识别问题，每个token的分类标签是由机器生成的监督（supervision）。原文链接：All Tokens Matter: Token Labeling for Training Better Vision Transformers ..
NeurIPS2021-《YOLOS》-ViT现在可以做目标检测任务啦！华科提出目标检测新方法YOLOS...
我爱计算机视觉
10-27 2172
关注公众号，发现CV技术之美1写在前面Transformer能在对2D空间结构了解最少的情况下，从序列到序列的角度执行2D对象级别识别吗？ 为了回答这个问题，作者提出了You Only L...
vit-wd-feb-2021
02-24
2021年2月同类群组课程资料库 第一周-HTML5 && CSS3 Git / Git工作流程 基本HTML元素 CSS简介 箱型 样式文字 CSS布局 选择器 第二周-CSS3 && Javascript 弹性盒 CSS轮播 JS简介 JS DOM操作 JS轮播 第三周-...
ViT基本原理，图像预训练
AI生成式技术曾小健
06-08 2866
ViT作者团队出品，在CNN和Transformer大火的背景下，舍弃了卷积和注意力机制，提出了MLP-Mixer，一个完全基于MLPs的结构，其MLPs有两种类型，分别是和，前者独立作用于image patches（融合通道信息），后者跨image patches作用（融合空间信息）。实验结果表明该结构和SOTA方法同样出色，证明了convolution和attention不是必要操作，如果将其替换为简单的MLP，模型依然可以完美work。
对 Vision Transformers 及其基于 CNN-Transformer 的变体的综述
毕竟是Shy哥
12-01 1584
Vision transformers已经成为卷积神经网络(CNNs)的可能替代品，在各种计算机视觉应用中很受欢迎。这些变形金刚能够专注于图像中的全局关系，提供了强大的学习能力。然而，它们可能会受到有限的泛化，因为它们不倾向于在图像中建模局部相关性。最近，在视觉变压器中出现了混合卷积运算和自我注意机制，以利用局部和全局图像表示。这些混合视觉变压器，也称为cnn -Transformer结构，在视觉应用中显示出了显著的效果。鉴于混合视觉变压器数量的迅速增长，对这些混合架构进行分类和解释已成为必要。
VIT 三部曲 -1 Transformer
likely_zhao的专栏
12-15 1万+
赵zhijian：VIT 三部曲 赵zhijian：VIT 三部曲 - 2 Vision-Transformer 赵zhijian：VIT 三部曲 - 3 vit-pytorch 目前在代表分类领域最高权威的imagenet 图片分类竞赛中, CNN的榜首位置收到了来自self attention 类的算法的的挑战,在最新的榜单上, VIT-H/14 以 88.55% Top-1 的准确率成功登顶第一的宝座,成功打败了由nas 出来的efficientNet 系列的模型,也成功打破了基于卷积和pool
Vision Transformer
W1995S的博客
07-06 980
论文： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载：https://arxiv.org/abs/2010.11929 原论文源码：https://github.com/google-research/vision_transformer 文章目录摘要Vision TransformerEmbedding层Transformer Encoder层MLP Head层Vision Transform
Self-Attention 、 Multi-Head Attention 、VIT 学习记录及源码分享
Philo的博客
12-09 1411
建议跟着讲解视频自己敲一遍，加深理解！想要看懂VIT中的一些内容，需要的基础知识点就是自己跑过一些CV方向的Demo，知道常见CV领域的一些操作，剩下的就是跟着霹导的视频学习就好了，讲解的非常详细，代码说的也很好！Hybrid VIT 唯一不同就是红色框中的东西，反正Embedding层使用ResNet提取特征之后，维度，大小啥的，用Conv2d调整一下就行了！这里的Head就是避免单一的Head学习到的的东西有点少，就多用几个Head，然后将学习到的东西综合一下，这样学习能力上去了，容错性也大了！
Transformer主干网络——T2T-ViT保姆级解析
qq_37668436的博客
01-19 6658
全网最详细，面向代码扣细节！
Tansformer in CV 论文阅读（1） ViT
weixin_44125469的博客
10-17 395
[2021][ICLR] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 目录**[2021][ICLR] AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE**AbstractIntroductionRelated WorkMethodinductive biasesHybrid Architecturepr
vit网络模型简介
热门推荐
m0_63156697的博客
09-16 1万+
无
from keras_vit import vit
最新发布
06-04
`from keras_vit import vit` 是一种...- [Understanding Vision Transformers (ViT) – with Python code](https://www.analyticsvidhya.com/blog/2021/06/understanding-vision-transformers-vit-with-python-code/)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值