论文阅读 （四）Vision Transformer ViT学习

最新推荐文章于 2024-09-26 16:58:09 发布
最新推荐文章于 2024-09-26 16:58:09 发布
阅读量1.5k 收藏 1
点赞数
分类专栏： 7. 论文阅读 文章标签： transformer 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rayso9898/article/details/122348945
版权

视频：

ViT论文逐段精读【论文精读】
https://www.bilibili.com/video/BV15P4y137jb?t=1.7

专栏笔记
https://www.bilibili.com/read/cv14221668?from=note

不敢相信，昨天晚上通宵把ViT和MAE的论文精读看完了，B站评论区的大佬们太多了，笔记总结的很可以，就直接屯着了。
这几天看论文精读视频还是蛮有用的，论文写作思路、不同写作方式的优缺点，基本上已经能够独立判断了。
还有就是，最近看的论文好贵呀，比如MAE,作者说耗费资源很少，尽管如此，一篇论文跑的实验要耗费几十万美元？？ 贫穷限制了我的想像。

论文链接：
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
https://arxiv.org/abs/2010.11929

github链接：
https://github.com/google-research/vision_transformer

来张ViT的框架图
在这里插入图片描述

Ray Song
关注
专栏目录
论文阅读 Vision Transformer - VIT
highoooo的博客
01-15 771
通过将图像切成patch线形层编码成token特征编码的方法，用transformer的encoder来做图像分类multihead和我原有的理解偏差修正。我以为的是QKV会有N块相同的copy()，每一份去做后续的linear等操作。代码里是直接用linear将QKV分为一整个大块，用permute/rearrange的操作切成了N块，f(Q,K)之后再恢复成一整个大块，很强。
『论文精读』Vision Transformer(VIT)论文解读
AI新视界
06-15 8346
ViT是2020年Google团队提出的将Transformer应用在图像分类的模型，虽然不是第一篇将transformer应用在视觉任务的论文，但是因为其模型 “简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了transformer在CV领域应用的里程碑著作，也引爆了后续相关研究。
ViT(Vision Transformer)论文阅读
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
06-14 552
ViT是2020年的一篇paper，目前(2023年2月)在google引用超11000次，CV图像领域中被广泛使用。在ViT出来之前，Transformer架构已经在NLP领域大显身手，在CV领域还是用的CNN，通过ViT这篇paper在CV中正式引入Transormer，且效果不错。ViT基本思路是把图像分为多个图像切片(每个小切片称为一个patch)，类似NLP中的一个词，多个patch拼接起来做为输入类似NLP中的Sequence。一张大小为(H*W*C)的图切分为N个大小为P*P*C。
Vision Transformer论文阅读笔记
weixin_47365232的博客
07-02 1119
（1）本文证明了图像对CNN的依赖不是必要的，将纯Transformer直接用于图像patch序列可以很好地执行图像分类任务。（2）和最先进的CNN相比，vision transformer(ViT)可以获得出色的结果，同时训练所需的计算资源也相对较少（仍然需要很多资源，只是相对更耗资源的网络而言的）。
CV系列论文一：vision transformer(ViT)
zly_kemgine的博客
06-27 682
ViT中的具体实现方式为：将 𝐻×𝑊×𝐶𝐻×𝑊×𝐶 的图像，变为一个 𝑁×(𝑃2∗𝐶)𝑁×(𝑃2∗𝐶) 的序列。这个序列可以看作是一系列展平的图像块，也就是将图像切分成小块后，再将其展平。该序列中一共包含了 𝑁=𝐻𝑊/𝑃2𝑁=𝐻𝑊/𝑃2 个图像块，每个图像块的维度则是 (𝑃2∗𝐶)(𝑃2∗𝐶)。我们可以想象，如果没有这个向量，也就是将 𝑁=9𝑁=9 个向量输入 Transformer 结构中进行编码，我们最终会得到9个编码向量，可对于图像分类任务而言，我们应该选择哪个输出向量进行后续分类呢？
【深度学习】详解 Vision Transformer (ViT)
闻韶
07-18 11万+
【深度学习】详解 Vision Transformer (ViT)
Vision Transformer详解
热门推荐
霹雳吧啦Wz
06-26 26万+
论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载链接：https://arxiv.org/abs/2010.11929 原论文对应源码：https://github.com/google-research/vision_transformer Pytorch实现代码： pytorch_classification/vision_transformer 文章目录前言模型详解Vision
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
IT菜鸟
10-15 1万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
论文阅读笔记：Vision Transformer (ViT)
loki2018的博客
05-27 322
1. Vision Transformer Dosovitskiy, Alexey, et al. “An image is worth 16x16 words: Transformers for image recognition at scale.” arXiv preprint arXiv:2010.11929 (2020). 这是一篇奠定了Transformer在视觉领域击败传统卷积的文章，Transformer在NLP领域大放异彩之后，在视觉领域也取得了优异的效果，作者摒弃了所有的卷积操作，将
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt ...
图像分类：Pytorch实现Vision Transformer（ViT）进行图像分类
04-17
**图像分类：Pytorch实现Vision Transformer（ViT）进行图像分类** 在计算机视觉领域，图像分类是一项基础且关键的任务，其目标是将输入图像分配到预定义的类别中。近年来，Transformer模型，最初由Vaswani等人在...
51-6 Vision Transformer ，ViT 论文精读
AIgraphX
01-09 1295
ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
【深度学习】解析Vision Transformer (ViT): 从基础到实现与训练
q742971636的博客
06-16 1388
定义ViT模型并将其移动到GPU上。# VisionTransformer定义（使用上面的定义）# 损失函数和优化器# 如果有多个GPU，使用DataParallel这段代码展示了如何使用PyTorch在GPU上训练Vision Transformer模型。包括数据加载、模型定义、训练和评估步骤。请根据你的实际需求调整批量大小、学习率和训练轮数等参数。
[数据集][目标检测]手机识别检测数据集VOC+YOLO格式9997张1类别
FL1623863129的博客
09-20 578
数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)特别声明：本数据集不对训练的模型或者权重文件精度作任何保证，数据集只提供准确且合理标注。图片数量(jpg文件个数)：9997。标注数量(xml文件个数)：9997。标注数量(txt文件个数)：9997。标注类别名称:["phone"]phone 框数 = 11700。使用标注工具：labelImg。标注规则：对类别进行画矩形框。
矿石运输船数据集、散货船数据集、普通货船数据集、集装箱船数据集、渔船数据集以及客船数据集
最新发布
阿利同学的博客
09-26 709
矿石运输船数据集、散货船数据集、普通货船数据集、集装箱船数据集、渔船数据集以及客船数据集
开放词汇目标检测
qq_34717531的博客
09-26 593
开放词汇目标检测（Open Vocabulary Object Detection, OVOD）是一种计算机视觉技术，它扩展了传统目标检测的概念，能够识别和定位图像中的对象，即使这些对象的类别没有在训练数据集中明确列出。利用LLM突出显示输入文本中的属性词汇，通过调整令牌掩码，提取OVD模型的文本编码器中的全局文本和属性特定特征，将它们显式组合为新的属性突出显示特征，其中相应的标量被手工设计或学习以重新调整这两个向量。然而，这些OVD模型是在大规模图像-文本对上进行预训练的，具有丰富的属性词汇，其潜在。
RPA + 计算机视觉
新缸中之脑
09-24 344
随着超自动化成为顶级企业技术趋势之一，领先的机器人流程自动化 (RPA) 公司开始将人工智能功能集成到其自动化工具中，以创建能够自动化端到端流程并做出决策的智能机器人。计算机视觉是新一代 RPA 工具的关键 AI 功能之一。在本文中，我们将探讨五个示例，说明如何将计算机视觉和 RPA 结合使用以实现业务智能自动化。
目标检测——VOC2007数据集
qq_35353972的博客
09-23 423
voc2007，目标检测入门
详解vision transformer (vit)
08-23
Vision Transformer (ViT)是一种基于Transformer的模型，用于处理计算机视觉任务。这个模型的灵感来自于自然语言处理领域的Transformer模型。ViT将图像的像素转换为序列数据，然后使用Transformer编码器来学习图像的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Ray Song

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值