VIT论文解读

最新推荐文章于 2024-08-06 22:41:37 发布
最新推荐文章于 2024-08-06 22:41:37 发布
阅读量868 收藏
点赞数
分类专栏： 计算机视觉 文章标签： transformer 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46881031/article/details/126456721
版权

1.VIT论文

请添加图片描述

2.论文结构

请添加图片描述

3.论文摘要

  • Transformer在NLP中已经成为经典
  • CV中，Attention机制只是作为一个补充在使用
  • 使用纯Transformer结构就可以在图像分类任务上取得不错的结果
  • 在足够大的数据集上训练后，ViT可以拿到和CNN的SOTA不相上下的结果

4.论文精读

4.1 ViT结构

4.1.1 总览

请添加图片描述

  • 对transformer做了最小的改动
  • 把图像切分重拍，当做输入
  • 实际中只使用了Encoder

4.1.2 Attention请添加图片描述

Attention的直觉是：并不用完全编码，一个翻译只与有限的几个词有关

Attention的本质是：加权平均，实际上是相似度计算

请添加图片描述
请添加图片描述

4.1.3MultiHead—Attention

请添加图片描述

本质：input的线性变换

计算：矩阵乘法

实现：nn.linear

请添加图片描述

MultiHead Attention：有多个Wq，Wk，Wv，将上述操作重复多次connect一起请添加图片描述
请添加图片描述

4.2输入端适配

直接将图片切分，按照编号输入网络。

  • 为什么有patch 0？

    如果只有原始输出的9个向量，用哪个向量来分类都不好，全用来分类计算量很大，加一个patch 0来整合信息。

4.3 位置编码

图像切分重排后失去了位置信息，并且Transformer的内部运算是空间信息无关的，所以需要把位置信息编码重新传进网络

4.4实验设置及结果分析

请添加图片描述

结果分析：

  • ViT的性能需要大量的数据

  • Attention距离和网络的层数的关系

请添加图片描述

5.论文总结

关键点

  • 一个用Transformer做分类的Backbone
  • 模型结构 Transform Encoder
  • MultiHead Attention的意义及计算过程

创新点

  • 纯Transformer做分类任务
  • 简单的输入端适配即可使用
  • 做了大量实验证明纯Transformer做CV的可能性
Light Runner°J.H.G
关注
专栏目录
VLM 系列——Qwen2 VL——论文解读——前瞻（源码解读）
TigerZ*的博客
09-10 386
Qwen2 VL 是一系列多模态大型语言模型（MLLM），其中包括2B、7B、72B三个版本，整体采用视觉编码器+LLM形式（可以认为没有任何投射层）。该模型能够处理包括文本、图像在内的多种数据类型，具备图片描述、单图文问答、 多图问对话、视频理解对话 、json格式、多语言、agent、高清图理解。Qwen2-VL-2B可以轻松地在现代手机上本地进行推理。比较创新的是图像缩放方式+3D LLM位置编码。
ViT论文解读
qq_39064418的博客
12-07 3978
ViT论文解读 本文主要记录Yi Zhu大佬对于ICLR 2021的一篇论文精读 AN IMAGE IS WORTH 16x16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE 论文地址：https://arxiv.org/pdf/2010.11929.pdf 源码地址：https://github.com/google-research/vision_transformer 标题部分 AN IMAGE IS WORTH 16x16 WORDS: T
ViT论文详解
最新发布
m0_64148253的博客
08-06 1346
ViT是谷歌团队在2021年3月发表的一篇论文，论文全称是《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》一张图片分成16x16大小的区域：使用Transformer进行按比例的图像识别。ViT是VisonTransformer的缩写，通过将一张照片分割为不同的Patch输入到Transformer中进行有监督的训练，从而实现Transformer在CV领域的应用。接下来我们进行这篇论文的详细介绍。
VIT论文介绍
sgzqc的专栏
05-10 5231
1. 引言 本文来讲解一篇论文 VIT， 这篇算是引起VIT跟CNNs之争的开端。 论文链接： 戳我 Transformer结构原本应用于自然语言处理，本篇希望找到可以在不用CNN情况下使用纯Transformer构架在图像分类任务上使用少量运算资源来训练达到更好的结果。 闲话少说，我们直接开始吧！ 2. TransFormer特点 一般来说，Transformer的一些优点如下： 具有优秀的运算效率与扩展性 可以透过大量数据做预训练并微调在其他数据集来减少运算资源 Attention（注意力机制） T
Vision Transformer（VIT）论文解读及实现
weixin_42529756的博客
07-08 3519
VIT,图片分类
深度学习领域原创论文解读
01-17
MLP三大工作超详细解读：why do we need_ 超越Swin Transformer！谷歌提出了收敛更快、鲁棒性更强、性能更强的NesT ResNet被全面超越了，是Transformer干的：依图科技开源“可大可小”T2T-ViT，轻量版优于MobileNet ...
深度学习原创论文解读分享
01-19
MLP三大工作超详细解读：why do we need_ 超越Swin Transformer！谷歌提出了收敛更快、鲁棒性更强、性能更强的NesT ResNet被全面超越了，是Transformer干的：依图科技开源“可大可小”T2T-ViT，轻量版优于MobileNet ...
Quantized Feature Distillation for Network Quantization论文解读ppt分享
07-27
### Quantized Feature Distillation for Network Quantization：论文解读与知识点提炼 #### 一、背景介绍 **量化感知训练（QAT）**作为一种成熟的技术，在极低比特设置下仍能保持网络准确性，已成为研究热点。...
Vision Transformer(ViT)论文解读与代码实践(Pytorch)
qq_51957239的博客
09-21 4094
RGB为彩色图片，L为灰度图片= 'RGB':这里解释一下collate_fn这个静态方法：collate_fn方法的作用是定义数据加载时的批处理操作。在PyTorch中，数据加载器（DataLoader）将数据集按照指定的批次大小（batch size）加载到模型中进行训练或推断。当数据集中的样本具有不同的大小或形状时，需要对每个批次进行适当的处理，以便能够对其进行批处理计算。
论文精读--ViT
m0_73202283的博客
02-07 2930
虽然Transformer架构已经成为自然语言处理任务的事实上的标准，但它在计算机视觉上的应用仍然有限。在视觉方面，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们证明这种对cnn的依赖是不必要的，直接应用于图像pactch序列的纯变压器可以很好地完成图像分类任务。
『论文精读』Vision Transformer(VIT)论文解读
AI新视界
06-15 8786
ViT是2020年Google团队提出的将Transformer应用在图像分类的模型，虽然不是第一篇将transformer应用在视觉任务的论文，但是因为其模型 “简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了transformer在CV领域应用的里程碑著作，也引爆了后续相关研究。
Next-ViT论文详解
tantanweiwei的专栏
12-14 792
由于复杂的注意力机制和模型设计，大多数现有的ViTs在现实的工业部署场景中不能像CNNs那样高效地执行，例如TensorRT和CoreML。视觉神经网络能否设计为与CNN一样快的推理和与ViT一样强大的性能？最近很多工作试图设计CNN-Transformer混合架构来解决这个问题，但这些工作的整体性能远不能令人满意。为了结束这些，本文作者提出了在现实工业场景中有效部署的，即Next-ViT，从延迟/准确性权衡的角度来看，它在CNN和ViT中均占主导地位。
VIT论文精读
weixin_45569576的博客
03-05 4501
VIT可以解决cnn难以解决的问题，例如针对一些图片（如遮挡，纹理偏移，对抗贴图，分块排列组合等） 需要解决的难题：如何将2D的图片转换为1D的序列，但是实现起来计算复杂度太高。那怎样才能把自注意力用到 ...
ViT解读
weixin_41803339的博客
08-12 5766
ViT0 前言1 Transformer 0 前言 Transformer被广泛使用在nlp领域，在处理序列化数据方面具有优势，最初提出的论文是[attention is all you need](https://arxiv.org/abs/1706.03762) 。之后不断有一些将其用在cv领域的工作，ViT便是最新的工作之一，结构中只使用了transformer，并且在分类方面取得不错的效果。 1 Transformer ...
ViT(Version Transformer)原始论文解读
qq_45041871的博客
01-10 4000
ViT(Version Transformer)原始论文解读，该文档标志着图像已经进入transformer预训练时代
ViT论文逐段精读【论文精读】-跟李沐学AI
qq_42014059的博客
04-05 4522
视频链接：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili ViT：过去一年，CV 最有影响力的工作 推翻了 2012 Alexnet 提出的 CNN 在 CV 的统治地位 有足够多的预训练数据，NLP 的 Transformer 搬运到 CV，效果很好 打破 CV 和 NLP 的壁垒，给 CV、多模态 挖坑 ViT效果有多好？ CV 任务刷榜 paperwithcode网站 霸榜 ImageNet （基于 ViT）和 COCO ,目标检测（Swin Transform...
vanilla vit
04-26
Vanilla ViT（Vision Transformer）是一种基于Transformer的视觉模型，用于图像分类任务。它是由Google在2021年提出的，并且在图像领域引起了广泛的关注。 ViT最初是为自然语言处理（NLP）任务设计的，通过将图像划分为均匀的图像块，并使用Transformer模型进行处理，实现了在图像分类任务中的出色表现。与传统的卷积神经网络（CNN）不同，Vanilla ViT直接将图像块转换为序列数据，并使用Transformer的自注意力机制来建立全局感知。 Vanilla ViT的主要思想是将输入图像划分为固定数量的图像块，然后将每个图像块展平为向量表示，并作为输入序列传递给Transformer编码器。编码器利用自注意力机制来捕捉全局上下文信息，并在最后一层进行分类。 与CNN相比，Vanilla ViT具有一些优点，例如能够处理任意大小的图像、具有较少的参数和更好的可解释性。然而，由于ViT对输入图像进行了划分，并且仅利用了局部上下文信息，因此在处理具有大量细节和全局结构的图像时可能存在一定的限制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值