【VIT】阅读笔记

已于 2024-01-24 20:47:58 修改
阅读量71 收藏
点赞数
分类专栏： 论文阅读 文章标签： 笔记 深度学习
于 2023-11-09 00:09:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bettle_king/article/details/134300856
版权
本文详细解读了2021年ICLR发表的Vision Transformer (VIT)架构，该架构首次将纯Transformer应用于图像识别任务。针对Transformer在CV领域的应用挑战，VIT将图像划分为16x16的patches，显著降低序列长度。网络结构中，位置编码用于保留patch顺序信息，而class token则用于分类任务，确保与原始Transformer的一致性。
摘要由CSDN通过智能技术生成

论文地址:https://arxiv.org/abs/2010.11929
代码地址:https://github.com/google-research/vision_transformer
视频推荐:点击进入
好文章地址:点击进入
好的文章地址：点击进去
<<AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE>>2021年发布在ICLR，在该文章中首次提出了VIT架构。

目录

最低0.47元/天 解锁文章
幽殇默
关注
专栏目录
ViT阅读笔记
qq_39686950的博客
05-24 1103
文章目录一、介绍二、实现细节三、实验四、结论 一、介绍   该论文最终修订于2020年10月22日，全名是《AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE》，在这篇论文提出之前，在计算机视觉领域，attention机制要么与CNN结合应用（比如增强特征图、用self-attention进一步处理CNN的输出，方法是大多是2018、2019年提出的），要么替换CNN的某些组件，同时保持CNN的整体结构，或者使.
RepQ-ViT 阅读笔记
白马非马的博客
08-16 946
RepQ-ViT，一种新的基于量化缩放因子（quantization scale）重参数化的PTQ框架量化步骤部署了复杂的量化器推理步骤采用量化缩放因子参数化的简化量化器以保证精确的量化和高效的推理重点关注具有极端分布的两个组件LayerNorm后的具有严重的通道间差异Softmax后的幂律分布关注的是对 activation 的量化方法最初对两部分数据分别采用： channel-wise 量化 和log2log\sqrt 2log2​量化。
【论文阅读】ViT阅读笔记
zjutkarma的博客
04-12 409
【论文阅读】ViT阅读笔记
Vit学习笔记
SSSSSHCL的博客
10-16 1328
个人学习笔记。
【论文阅读笔记】ViT：An Image is worth 16X16 words: Transformers for image recognition at scale
qq_46056318的博客
04-18 1224
一幅图像相当于16X16个字：用于大规模图像识别的TransformerICLR 2021 谷歌团队PaperCode虽然Transformer架构已成为自然语言处理任务的事实标准，但其在计算机视觉中的应用仍然有限。在视觉中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。本文证明了这种对CNN的依赖是不必要的，直接应用于图像块序列的纯Transformer可以在图像分类任务中表现得非常好。
【论文阅读笔记】Vit：VisionTransformer
weixin_62636846的博客
10-29 669
纯粹的将transformer应用于图片patch序列，而不是使用attention连接到CNN中或替换一些部件在没有强正则化的中型数据集（如 ImageNet）上进行训练时比ResNet的性能要低一些：Transformer缺少CNN的一些先验条件，比如平移等效性和局部性。
ViT 论文笔记
T-SW的博客
04-29 397
AN IMAGE IS WORTH 16X16 WORDS:TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE（2021.6.3）
ICLR 2021 | An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale| ViT 阅读笔记（翻译）
ybacm的博客
12-01 2566
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale Author Unit: Google Brain, Google Research Authors: Alexey Dosovitskiy∗,†, Lucas Beyer∗, Alexander Kolesnikov∗, Dirk Weissenborn∗, Xiaohua Zhai∗, Thomas Unterthiner, Mostafa Dehghan
ViT笔记学习
骊山道童的博客
08-19 382
1.3 ViT模型架构。
0002-极智AI-解读Vision Mamba 将Mamba引入ViT-个人笔记
09-06
0002_极智AI_解读Vision Mamba 将Mamba引入ViT-个人笔记
0089-极智AI-解读详解ViT算法实现-个人笔记
07-20
0089_极智AI_解读详解ViT算法实现-个人笔记
A FREE LUNCH FROM VIT【阅读笔记】
bettle_king的博客
11-19 65
笔记
嵌入式通信协议：UART简明学习笔记
weixin_73867577的博客
10-31 761
学习UART串口的简明学习笔记
[自用，更新自day5]瑞吉外卖代码及笔记
lapiii的博客
11-01 821
当使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程提供独立的变量副本，所以每一个线程都可以独立地改变自己的副本，而不会影响其它线程所对应的副本。Mybatis Plus公共字段自动填充，也就是在插入或者更新的时候为指定字段赋予指定的值，使用它的好处就是可以统一对这些字段进行处理，避免了重复代码。因为在分页查询的Dish的records(菜品记录中)，只有这个菜品所属的categoryId，但是我们需要分页的时候展示的是菜品名字。
【Kotlin】 基础语法笔记
xuanyulevel6的博客
10-31 835
kotlin基础语法学习笔记
嵌入式通信协议：MODBUS简明学习笔记
最新发布
weixin_73867577的博客
11-02 221
学习Modbus的简明学习笔记
spring6 笔记(3 万字详解)
2301_79083000的博客
10-29 1277
尚硅谷spring笔记带你一套掌握spring
网络编程笔记----OSI七层模型及其作用
m0_63903713的博客
11-02 141
OSI七层模型是计算机网络领域的一个标准模型，用于理解网络通信的过程。它将网络功能分为七个不同的层次，每一层都有其特定的功能和作用。每一层都依赖于其下层，同时为其上层提供服务，形成一个相互独立又紧密联系的网络通信体系。这个模型帮助我们理解和设计复杂的网络架构。
TS学习笔记
Seven_Ting的博客
11-01 292
安装命令第一步：新建index.html和demo.ts第二步：在index.html引入demo.ts文件第三步：运行TS的命令注意：运行命令后，会将ts文件转换成js文件如果想要实时转换运行命令。
swintransformer学习笔记
06-12
以下是SwinTransformer的一些关键特点和学习笔记要点： 1. **局部窗口注意力（Local Window Attention）**：SwinTransformer将空间维度划分为多个固定大小的窗口，每个窗口内的位置编码相互作用，窗口之间的信息则...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值