【视频理解】十四、Vision Transformer☆

已于 2023-09-17 09:06:47 修改
阅读量73 收藏 1
点赞数
分类专栏： 视频理解 文章标签： transformer 深度学习 人工智能
于 2022-11-06 22:53:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30196905/article/details/127722913
版权

目录

参考资料

 论文：

  An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale

 博客：

  CV Tranformer：ViT论文阅读笔记

 视频：

  ViT论文逐段精读【论文精读】

第1章 引言

 由于在图像分类任务中，输入一般最小为 224 × 224 × 3 224\times 224\times 3 224×224×3 ，如果把每个像素点作为Transformer的输入，会导致序列长度过长，那么计算量会变得非常大；因为一般在NLP领域输入的单词个数一般也就几百，而这里 224 × 224 = 50176 224\times 224=50176 224×224=50176 ，所以要想把Transformer运用到CV领域，并不能直接对像素点进行操作。

 作者提出了一种方法，通过将图像变成多个 Patch 的方式，将CV任务变成和NLP任务一样的训练方式。

第2章 主要方法

 下图是Vision Transformer(ViT)的整体框图，是谷歌首次将transformer应用在图像分类任务的模型。

在这里插入图片描述

Fig 1. VIT结构

思路并不复杂，对应到下图分别是：

  1. 将图像化整为零，切分成 patch ，例如 14 × 14 = 196 14\times14=196 14×14=196 份；
  2. 将 patch 通过线性投影，转换为 patch embedding ；
  3. 获得 position（位置）embbeding ，为每个 patch 加入位置信息；
  4. 输入到Tranformer编码器，其结构详见右子图；
  5. 输出到MLP（多层感知机）做分类任务；

2.1 Patch spilt

 对于图像数据而言，其数据格式通常为3维 [ H , W , C = 3 ] ( 长、宽、通道数 ) [H,W,C=3](长、宽、通道数) [H,W,C=3](长、宽、通道数)。

 对于标准transformer，输入应该是1维的token序列，token本身可以有1个维度，故需要将图片数据降低到2维。

 ViT采用的方法是：将[224,224,3]的输入图像，按照16x16x3的大小，划分成14x14=196个patch。

 那么每个patch块的大小为： 16 × 16 × 3 = 768 16\times 16\times 3=768 16×16×3=768 ，然后将大小为 [ 16 , 16 , 3 ] [16,16,3] [16,16,3] 的patch数据，拉平为长度为 768 768 768 的向量。

 即经过patch划分后，输入变为了 196 × 768 196\times 768 196×768 。

可以看作196个单词，每个单词维度为768。

在这里插入图片描述

Fig 2. 划分Patch

2.2 Path embedding

 这里的embedding主要就是通过一个线性层实现，将输入映射到另一个语义空间中，将上面得到 196 × 768 196\times 768 196×768 的向量与一个尺寸为 768 × 768 768\times 768 768×768 的矩阵相乘，得到一个长度为 196 × 768 196\times 768 196×768 的输出向量，即token。

2.3 Position embedding

 图片中注释了，在Patch + Position embedding外，还需要考虑：额外可学习的 class embedding 。

这里加入class embedding的目的是为了最终做分类，作者解释是参考BERT，本文对动机不做赘述。

 Class embedding和其他token一样都是向量，大小为[1, 768]。和token数据拼接(cat)后：
[ 1 , 768 ] + [ 196 , 768 ] = > [ 197 , 768 ] [1, 768] + [196, 768] => [197, 768] [1,768]+[196,768]=>[197,768]
 然后， 让我们回归到Position embedding上。由于transformer的核心self-attention（自注意力机制）不区分输入数据的顺序：

  • 现象：打乱tokens顺序不影响计算结果；
  • 问题：如果不给模型提供patch在原图[224, 224, 3]中的位置信息，会额外增加学习成本，导致精度下降。

 为了解决该问题，采用一个可训练的向量[197]，add 于拼接后的数据 [197, 768] 上，故叠加后的数据依然是 [197, 768] 。

 对于使用何种 Positition embedding ，原论文进行了若干对比实验，结果是：

  • 使用Position embedding相比于不使用，准确率有显著提升；
  • 使用何种Position embedding方式，其效果差距不大。

在这里插入图片描述

2.4 Transformer Encoder

在这里插入图片描述

Fig 3. Encoder

 如图所示，Transformer Encoder左上角处有：[L x]。代表灰色框出的部分，可以叠加L次。

 输入数据为 [197, 768] 格式，输出数据仍然为 [197, 768]。

详细细节和Transformer的Encoder一样。

第3章 实验和总结

 作者对比了ViT和CNN（卷积神经网络）在不同数据集上的表现：

  • 在比较小的数据集上训练，ViT不优于ResNet（CNN模型）；而在大数据集上，ViT效果优于ResNet；
  • 在比较大的数据集上做预训练后，然后在小数据集上做fine-tune，效果也可以超过ResNet。

在这里插入图片描述

第4章 Pytorch实现VIT

 参考博客：

  ViT源码阅读-PyTorch

  "未来"的经典之作ViT：transformer is all you need!

 参考代码：

  timm

travellerss
关注
专栏目录
vision transformer预训练
12-06
在计算机视觉领域，Transformer模型已经成为一种重要的工具，尤其是Vision Transformer (ViT)的出现，它打破了传统的卷积神经网络(CNN)在图像识别任务中的主导地位。预训练技术在自然语言处理领域取得了显著成功，如...
未来的“经典”之作ViT：transformer is all you need
小白将
03-20 4236
文章目录Patch EmbeddingPosition EmbeddingClass TokenTransformer EncoderViT模型效果参考 从2020年，transformer开始在CV领域大放异彩：图像分类（ViT, DeiT），目标检测（DETR，Deformable DETR），语义分割（SETR，MedT），图像生成（GANsformer）等。而从深度学习暴发以来，CNN一直是CV领域的主流模型，而且取得了很好的效果，相比之下transformer却独霸NLP领域，transforme
Vision Transformer 源码解读
02-03
在文本任务中大量使用了Transformer 架构，因为文本数据是一个序列非常好的契合Transformer 架构。 可是如何将一张图像展开成一个序列呢？ 将一个文本数据使用Transformer 进行特征提取需要把文本embbeding成一个...
第八次组会PPT_Vision in Transformer
04-23
【Vision Transformer】(ViT) 是深度学习领域中一种创新性的模型，它源自于Transformer架构，最初被广泛应用于自然语言处理（NLP）任务。尽管Transformer在NLP中取得了显著的成功，但在计算机视觉（CV）领域的应用却...
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预...
VIT(vision transformer)实现图像分类
05-29
VIT(vision transformer)实现图像分类，是将transformer首次应用于CV(计算机视觉)领域，该资源包含所有源代码，拿走技能运行跑通，包含数据集和训练好的权重，分类精度高达99%以上。
从0开始深度学习（19）——参数管理
立志成为炼丹师？
10-24 1285
w∼U510可能性140可能性12U−10−5可能性14U(5, 10) & \text{ 可能性 } \frac{1}{4} \\0 & \text{ 可能性 } \frac{1}{2} \\U(-10, -5) & \text{ 可能性 } \frac{1}{4}w∼⎩⎨⎧​U5100U−10−5​可能性41​可能性21​可能性41​​​​w从均匀分布U510中取值。
基于深度学习的音乐生成与风格转换
weixin_42605076的博客
10-24 1167
音乐风格通常由节奏、和声、旋律、乐器编制、音色等要素决定。风格转换的核心在于保持音乐作品的核心旋律、节奏或主题不变的前提下，调整其和声、伴奏模式或音色以适应目标风格。基于深度学习的音乐生成与风格转换技术具有广泛的应用潜力，不仅能够自动创作出新颖的音乐作品，还可以实现不同风格之间的无缝转换。随着模型性能的不断提升和应用场景的扩展，这一领域将在未来为音乐创作、娱乐和教育等领域带来更多的创新与变革。
ADAMG——深度学习无参数优化的新时代
知来者逆的博客
10-24 674
黄金步长的引入是为了在保持 AdaGrad-Norm 收敛性能的同时，接近预期的最佳步长。这种步长与具体问题的特征无关，有望在各种训练条件下促进一致有效的收敛（见图 1）。ADAMG 是一种基于 AdaGrad-Norm 的无参数优化算法，它使用黄金步长为各种优化任务自动提供最佳学习率。实验结果表明，与传统优化方法相比，ADAMG 具有更高的稳定性和效率。特别是在计算资源有限或处理大型数据集的情况下，该算法可以有效地保持高性能，同时减少人工调整的工作量。
【进阶OpenCV】 （21） --卷积神经网络实现人脸检测
m0_74896766的博客
10-21 767
本篇介绍了如何通过使用dlib库中的卷积神经网络（CNN）人脸检测模型来检测一张图片中的人脸。 注意！！：为例减少模型的计算，使用加载的CNN人脸检测模型对图片进行人脸检测时，上采样次数可以少一点。
从0开始深度学习（20）——延后初始化和自定义层
立志成为炼丹师？
10-24 505
我们构造一个没有任何参数的自定义层，下面的CenteredLayer类要从其输入中减去均值。要构建它，我们只需继承基础层类并实现前向传播功能。传入一些数据进行验证现在，我们可以将层作为组件合并到更复杂的模型中。作为额外的健全性检查，我们可以在向该网络发送随机数据后，检查均值是否为0。由于我们处理的是浮点数，因为存储精度的原因，我们仍然可能会看到一个非常小的非零数。Y.mean()
Python实现贝叶斯优化器(Bayes_opt)优化简单循环神经网络回归模型(SimpleRNN回归算法)项目实战
最新发布
张陈亚的博客
10-27 974
Python实现贝叶斯优化器(Bayes_opt)优化简单循环神经网络回归模型(SimpleRNN回归算法)项目实战
Pytorch学习--DataLoader的使用
weixin_68930974的博客
10-24 995
Pytorch学习--DataLoader的使用
基于深度学习的安全多方计算
weixin_42605076的博客
10-23 1131
基于深度学习的安全多方计算为隐私保护提供了一种有效的解决方案，使多个组织能够在不暴露各自数据的前提下协同训练深度学习模型。这一技术在医疗、金融等敏感数据领域具有广泛的应用前景。虽然目前存在计算复杂度和通信开销等挑战，但随着技术的不断发展，安全多方计算将为深度学习带来更加安全、高效的协作方式。
从0开始深度学习（16）——暂退法（Dropout）
立志成为炼丹师？
10-23 814
上一章的过拟合是由于导致的，但如果我们有比，深度神经网络也有可能过拟合。
深度学习速通系列:超长法律文件隐私过滤(基于预训练模型Bert)
Ven%的博客
10-18 492
网上使用bert的中文模型进行命名识别教程少的可怜,摸索了一周的时间,硬是把法律文书的人名全部识别出来了,目前可以达到98.9999%(开玩笑的,不过准确率保守估计是有90%以上).注意:这个法律文书目前只是针对裁决书,其他还没测试过,可支持超长文本识别。bert-base-chinese-ner 下载路径：https://hf-mirror.com/ckiplab/bert-base-chinese-ner （国内镜像，不用魔法也能访问）欢迎各位点个☆Star!下载好，直接放在当前目录下。
从0开始深度学习（18）——环境和分布偏移
立志成为炼丹师？
10-23 866
有时，根据测试集的精度衡量，模型表现得非常出色。但是，模型在部署中会出现灾难性的失败。有时模型的部署本身就是扰乱数据分布的催化剂。举一个有点荒谬却可能真实存在的例子。假设我们训练了一个贷款申请人违约风险模型，用来预测谁将偿还贷款或违约。这个模型发现申请人的鞋子与违约风险相关（穿牛津鞋申请人会偿还，穿运动鞋申请人会违约）。此后，这个模型可能倾向于向所有穿着牛津鞋的申请人发放贷款，并拒绝所有穿着运动鞋的申请人。本章会揭露揭示一些常见的问题。
深度学习系列——RNN/LSTM/GRU，seq2seq/attention机制
hang on it more longer
10-22 304
另外，seq2seq中decoder，attention的更新机制没有说清楚（其实就是梯度下降更新权重即可），若使用attention机制，则h0'没有说清楚（需要看下源码部分）（1）对于这里面RNN的表示中，使用了输入x和h的拼接描述，其他公式中也是如此。注意：这里补充了对于RNN，UVW三个矩阵的使用细节，很多喜欢使用下面这张图。（2）各符号图含义如下。
LSTM（Long Short-Term Memory，长短期记忆网络）在高端局效果如何
MrLi的博客
10-24 594
lstm 杂乱数据分析LSTM（Long Short-Term Memory，长短期记忆网络）在高端局，即复杂的机器学习和深度学习应用中，展现出了其独特的优势和广泛的应用价值。
vision transformer视频分类
09-18
关于Vision Transformer的视频分类，可以使用预训练的Vision Transformer模型，并针对视频数据进行微调以实现视频分类任务。具体方法包括将视频分成帧，对每个帧进行图像分类，然后对所有帧的分类结果进行平均或投票...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

travellerss

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值