TransFormer学习之VIT算法解析

最新推荐文章于 2025-01-30 20:42:52 发布
最新推荐文章于 2025-01-30 20:42:52 发布
阅读量1.4k 收藏 36
点赞数 25
分类专栏： 自动驾驶 文章标签： transformer 学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/guanjing_dream/article/details/139151775
版权

1.算法简介

本文主要对VIT算法原理进行简单梳理，下图是一个大佬整理的网络整体的流程图，清晰明了，其实再了解自注意力机制和多头自注意力机制后，再看VIT就很简单了

受到NLP领域中Transformer成功应用的启发，ViT算法尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。具体来讲，ViT算法将整幅图像拆分成小图像块，将图像块转换为类似于NLP中的Sequence后再执行TransFormer操作。
在这里插入图片描述
参考链接：一文带你掌（放）握（弃）ViT(Vision Transformer)（原理解读+实践代码）
参考链接：Vision Transformer （ViT）：图像分块、图像块嵌入、类别标记、QKV矩阵与自注意力机制的解析
参考链接：ViT（vision transformer）原理快速入门
参考链接：逐步解析Vision Transformer各细节

2.图像分块和Embedding

这一步是为了后面的TransFormer操作对数据进行预处理，将图像转换为Sequence的形式。

2.1原理简介

（1）如图所示，输入图像为224*224*3的图像，将其分割为大小等于16*16的图像块，图像块数量为224*224/16*16=196。
在这里插入图片描述

（2）图像分块后再将其展平为一个序列，序列的shape为：196*16*16*3
在这里插入图片描述
（3）为了实现最后的分类任务，需要添加一个Class Token的信息(图中橙色部分)，则输入序列变为197*16*16*3
在这里插入图片描述
（4）生成特定通道的sequence
经过上述步骤处理后，每个图像块的维度是 16 ∗ 16 ∗ 3 16*16*3 16∗16∗3，而我们实际需要的向量维度是D，因此我们还需要对图像块进行 Embedding。这里 Embedding的方式非常简单，只需要对每个 16 ∗ 16 ∗ 3 16*16*3 16∗

最低0.47元/天 解锁文章
【深度学习】解析Vision Transformer (ViT): 从基础到实现与训练
q742971636的博客
06-16 1818
定义ViT模型并将其移动到GPU上。# VisionTransformer定义（使用上面的定义）# 损失函数和优化器# 如果有多个GPU，使用DataParallel这段代码展示了如何使用PyTorch在GPU上训练Vision Transformer模型。包括数据加载、模型定义、训练和评估步骤。请根据你的实际需求调整批量大小、学习率和训练轮数等参数。
极智AI | 详解 ViT 算法实现
极智视界
05-21 4638
大家好，我是极智视界，本文详细介绍一下 ViT 算法的设计与实现，包括代码。
ViT（Vision Transformer）算法入门
weixin_48262500的博客
10-30 2659
在Transformer的基础上，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。具体来讲，ViT算法中，会将整幅图像拆分成小图像块，然后把这些小图像块的线性嵌入序列作为Transformer的输入送入网络，然后使用监督学习的方式进行图像分类的训练。 参考论文：https://arxiv.org/pdf/2010.11929.pdf 我们将图像分割成固定大小的面片，线性嵌入每个面片，添加位置嵌入，并将生成的向量序列馈送给标准的Transformer编
Vision Transformer (ViT) 算法详解
m0_51661400的博客
08-20 1954
本博客详细探讨了Vision Transformer (ViT)，一种革命性的模型，将Transformer架构应用于图像处理。ViT通过将图像切割成序列化的小块，利用自注意力机制直接捕捉全局依赖关系，与传统的卷积神经网络相比，提供了更高效的处理方式和更深入的数据理解。除了介绍ViT的算法原理和数学表达，本文还提供了模型的简单PyTorch实现和源代码链接，帮助读者从理论到实践深入了解并应用这一技术。
Transformer+vit原理分析
最新发布
yuange1666的博客
01-30 1458
Transformer 模型是2017年由Google提出的一种革命性的深度学习架构（但不是一种AI框架，区别于Tensorflow，可以理解为一种算法），主要用于。：将输入图像分割为固定大小的图像块（如16x16像素），每个块被展平为一个向量，作为Transformer的输入序列。输入图像（如224x224）被划分为多个固定大小的块（如16x16），每个块展平为向量（如16x16x3=768维）。（如机器翻译、文本生成等）。：为序列中的每个位置（如单词）分配不同的权重，表示该位置对其他位置的依赖程度。
目标检测算法-transformer系列-ViT（Vision Transformer）（附论文和源码）
09-29 5922
目标检测算法-transformer系列-ViT（Vision Transformer）（附论文和源码）
关于ViT(Vision Transformer)的算法解读
weixin_47728827的博客
05-10 8228
这个我需要做一个详细的了解，因为后边的所有模型都基于此去修改。 代码出处：https://github.com/lucidrains/vit-pytorch 论文自行百度。 话不多说，先上图： 看下代码的实现： 1.参数的了解 v = ViT( image_size = 256, patch_size = 32, num_classes = 1000, dim = 1024, # 每个向量的维度 depth = 6, # 就是上右图的L，就是用了几次这个Tr
详解VIT（Vision Transformer)模型原理, 代码级讲解
qq_43449643的博客
01-16 1万+
详解VIT（Vision Transformer)模型原理, 代码级讲解
Vision Transformer (ViT) + 代码【详解】
qq_23022733的博客
09-03 4436
虽然 Transformer 架构已成为自然语言处理任务的事实标准，但它在计算机视觉领域的应用仍然有限。在 Vision 中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们表明，这种对 CNN 的依赖是不必要的，直接应用于图像块序列的纯 Transformer 可以在图像分类任务中表现良好。
VIT(vision transformer)结构解析
Accident_xy的博客
12-08 1498
vit
全面解析 Transformer：改变深度学习格局的神经网络架构
qq_56683019的博客
12-04 9435
Transformer 是一种基于"注意力机制（Attention Mechanism）"的神经网络架构，主要用于处理序列数据。与传统的循环神经网络（RNN）不同，Transformer 通过并行计算和全局注意力机制，极大提升了模型的效率和性能。Transformer 的设计理念基于简单但高效的注意力机制，其并行化特性和强大的表征能力使其成为现代深度学习的核心模型。从 NLP 到 CV，再到多模态任务，Transformer 正在推动 AI 的新一轮变革。
CV攻城狮入门VIT(vision transformer)之旅——VIT原理详解篇
2401_84159839的博客
04-08 788
​  现在我们已经得到了196*768维的tensor，我们假设其为x。接下来我们会使用一个维度为1*768维的Class token来和x进行Concat操作，输出结果为197*768维的tensor。这里肯定有人有疑问了，为什么这里会加一个Class token，在上篇讲述的Transformer中可没有这个操作。–小傻瓜–因为这篇文章我们要用来对物体进行分类啊！！！说不定你现在有点怀疑自己了，因为是分类任务所以要加上Class token？这两个还有因果关系不成？
ViT:实现Vi（sion）T（transformer）
05-26
在PyTorch中实现Vi（sual）T（transformer） 大家好，新年快乐！ 今天，我们将要实现著名的Vi （双） T （变压器），该产品在“。 代码在这里，可以从下载本文的交互式版本。 ViT将很快在我称为新计算机视觉库中提供 这是一个技术教程，而不是您在普通的中级文章中找到的使您变得富有的前5个最重要的熊猫功能。 因此，在开始之前，我强烈建议您： 看看惊人的网站 观看 阅读文档 因此，ViT使用在图像上工作的普通变压器（“提出的一种变压器）。 但是，如何？ 下图显示了ViT的体系结构 输入图像被分解为16x16展平的小块（图像未按比例绘制）。 然后使用普通的完全连接层将它们嵌入，在它们前面添加特殊的cls令牌，并对positional encoding求和。 生成的张量首先传递到标准Transformer，然后传递到分类头。 就是这样。 本文的结构分为以下几节
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
热门推荐
IT菜鸟
10-15 4万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
课程九学习笔记: 自监督ViT算法：BeiT和MAE
Wangzx的博客
12-07 1298
课程九学习笔记: 自监督ViT算法：BeiT和MAE1. SSL在NLP中的应用：2. Bert3. BeiT4. MAE：Masked Autoencoders Are Scalable Vision Learners5. 实践：Config配置和实验分开进行 自监督+ Transformer 1. SSL在NLP中的应用： Self-Supervised Learning (SSL)：通过自己“监督”自己的方式学习通用特征表达，用来作为下游任务的预训练或者backbone。（自监督学习SSL：假装看不
Transformer论文阅读：ViT算法笔记
qq_43631268的博客
02-17 1208
虽然Transformer结构已经成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件同时保持它们的整体结构。我们表明，这种对CNN的依赖不是必要的，直接用于图像块序列的纯Transformer可以在图像分类任务中表现得很好。当在大量数据上进行预训练，再迁移到多个中小型图像识别基准时，视觉变换器（Vision Transformer，ViT）与SOTA的卷积网络相比取得了优异的结果，并且需要的训练计算资源更少。
ViT（vision transformer）原理快速入门
不精，不诚，不足以动人
12-09 2万+
本专题需要具备的基础： 了解深度学习分类网络原理。 了解2017年的transformer。 Transformer 技术里程碑： ViT简介 时间：2020年CVPR 论文全称：《An Image is Worth 16*16 Words: Transformers for Image Recognition at Scale》 发明人：谷歌团队 简介：论文中提出了 Vision Transformer (ViT)，能直接利用 Transformer 对图像进行分类，而不需要卷.
ViT( Vision Transformer) 多头自注意力机制 计算机视觉领域应用Transformer架构的模型 首次将NLP领域中广泛使用的Transformer模型引入到了CV领域
万有文的博客
05-10 2380
在计算机视觉领域中，多数算法都是保持CNN整体结构不变，在CNN中增加attention模块或者使用attention模块替换CNN中的某些部分。有研究者提出，没有必要总是依赖于CNN。因此，作者提出ViT[1]算法，仅仅使用Transformer结构也能够在图像分类任务中表现很好。受到NLP领域中Transformer成功应用的启发，ViT算法中尝试将标准的Transformer结构直接应用于图像，并对整个图像分类流程进行最少的修改。
从Transformer到ViT：多模态编码器算法原理解析与实现
weixin_42010722的博客
03-17 4574
Transformer架构是一种使用自注意力机制的神经网络，最初是由谷歌提出的，被广泛应用于自然语言处理和图像处理任务中。它是一种基于注意力机制的深度学习模型，适用于序列到序列的学习任务，例如机器翻译、语音识别、文本摘要等。多模态Transformer前部分encoder算法是近年来在计算机视觉领域备受瞩目的研究方向之一。它的出现极大地推动了多模态信息的融合与处理，被广泛应用于图像、文本等多种数据类型的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值