机器学习笔记：ViT （论文 An Image Is Worth 16X16 Words: Transformers for Image Recognition at Scale）

于 2022-07-20 15:50:05 发布
阅读量335 收藏 1
点赞数
分类专栏： 论文笔记 文章标签： 机器学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/125892791
版权

ICLR 2021

0 前言

说到图像处理，一般想到的就是CNN/CNN的变体

机器学习笔记：CNN卷积神经网络_UQI-LIUWJ的博客-CSDN博客

 

 

。ViT的想法是利用Transformer机制来替换CNN机制，将Transformer运用到图像分类中。

 机器学习笔记：Transformer_UQI-LIUWJ的博客-CSDN博客

1 图像转成句子（图片 token化）

        将图像分割成小块（image patch），并将这些块转化为序列，作为Transformer的输入。

        图像块（image patches）相当于NLP任务中的单词（token）来做处理。以有监督的方式训练图像分类模型。

  • 比如一张原始图像x \in R^{H*W*C}，分辨率是H×W，通道数是C
  • 我们将其分割成P×P的patch组成的序列x' \in R^{\frac{H\times W}{P^2}\times (P\times P \times C)}

2 整体流程

和Transformer的encoder流程差不多

 

 

UQI-LIUWJ
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
机器学习笔记 - vision transformer（ViT）简述
学以致用 知行合一
06-25 989
视觉转换器 vision_transformer（ViT） 因其令人印象深刻的准确率和计算效率而迅速成为卷积神经网络 （CNN） 在计算机视觉任务中的首选替代品。ViT模型在许多数据集和任务组合中的表现比CNN高出近4倍，从而确立了自己作为非常强大的竞争者的地位。同样，基于转换器的模型已经成为自然语言处理（NLP）的常态，ChatGPT就是一个很好的例子。自注意机制用于对文本中单词之间的依赖关系进行建模，并创建复杂的语言模型。
An Image is worth 16x16 Words: Transformer for image recognition
12-31
总的来说，“An Image is worth 16x16 Words: Transformer for image recognition”这篇论文揭示了Transformer在图像识别领域的潜力，挑战了CNNs的传统地位，并推动了深度学习模型设计的新趋势。通过引入纯...
遥感图像灰度级压缩（Uint16->Uint8）
hello@liuxu
02-11 2436
转自图像灰度级压缩和遥感影像16位转8位(python) 遥感图像灰度级压缩 在使用灰度共生矩阵计算图像纹理的时候，考虑到计算效率，需要对图像先进行灰度级压缩的操作，比较简单的方法是直接除以前后灰度级的倍数，结果发现这样处理效果不好，原因是影像的直方图分布可能极其不均匀，导致压缩后的图像像素值都集中在最小值周围。针对这种情况可以考虑先进行直方图均衡化，或者先计算累计直方图，然后取2%~98...
什么是VIT？
薇酱的博客
02-28 2万+
VIT就是Vision Transformer。 目录 1.Transformer在视觉领域上使用的难点： 2.输入序列长度的改进 3.VIT对输入的改进 1.Transformer在视觉领域上使用的难点 在nlp中，输入transformer中的是一个序列，而在视觉领域，需要考虑如何将一个2d图片转化为一个1d的序列，最直观的想法就是将图片中的像素点输入到transformer中，但是这样会有一个问题，因为模型训练中图片的大小是224*224=50176，而正常的bert的序列长度是512，是
VIT基础概述
gaotihong的博客
05-26 3735
四，VIT 概述 需要在的数据集上进行预训练。 Vit本质为 transformer encoder网络。 算法 Vit将图片划分为大小相同的patches，可以重叠划分，也可以不重叠划分。 每个patches都是RGB的图像，属于张量。 需要将张量拉伸为向量。 Fc对向量x进行线性变化，注意不采用relu，得到z，此处WB为参数，需要训练得到，并且所有patch共享参数。 Z不仅编码了内容表征，而且包含位置信息。如果不用位置信息，会掉点3%。 一定要
【深度学习】详解 Vision Transformer (ViT)
热门推荐
闻韶
07-18 9万+
【深度学习】详解 Vision Transformer (ViT)
ViT:图像值得16x16字
03-19
视觉变形金刚 在PyTorch中实现，这是一种使用变压器样式编码器在视觉分类中实现SOTA的新模型。...python train.py --model ViT --name vit_logs 对于分布式培训： CUDA_VISIBLE_DEVICES=0,1,2,3 python dist_tra
BEiT: BERT Pre-Training of Image Transformers PPT
最新发布
08-18
BEiT: BERT Pre-Training of Image Transformers PPT BEiT 是一种基于Transformer的自监督式图像预训练模型，它的提出标志着计算机视觉（CV）领域的BERT时刻的到来。BEiT 模型通过Masked Image Modeling任务，对...
ViT-pytorch:视觉变压器的Pytorch重新实现（图像值得16x16字
03-18
Pytorch重新实现了针对随论文 ，Alexey Dosovitskiy，Lucas Beyer，Alexander Kolesnikov，Dirk Weissenborn，翟小华，Thomas Unterthiner，Mostafa Dehghani一起发布， Matthias Minderer，Georg Heigold，Sylvain ...
真棒图像分类：深度学习图像分类论文和代码的精选清单
01-31
"真棒图像分类：深度学习图像分类论文和代码的精选清单"是一个集合了最新、最优秀的研究论文和实现代码的资源库，旨在帮助研究人员和开发者快速了解并掌握这个领域的核心知识。 一、深度学习基础 深度学习是机器...
BERT和ViT简介
weixin_44378835的博客
06-27 1974
BERT(Bidirectional Encoder Representations from Transformers)；VIT(Vision Transformer)
一文梳理视觉Transformer：与CNN相比，ViT赢在哪儿？
机器学习算法与Python学习
03-24 2354
点击 机器学习算法与Python学习 ，选择加星标精彩内容不迷路机器之心报道Transformer 近年来已成为视觉领域的新晋霸主，这个来自 NLP 领域的模型架构在 CV 领域有哪些具体应用？。Transformer 作为一种基于注意力的编码器 - 解码器架构，不仅彻底改变了自然语言处理（NLP）领域，还在计算机视觉（CV）领域做出了一些开创性的工作。与卷积神经网络（C...
【Transformer学习笔记】VIT解析
sjflsahfisaojfsa的博客
12-11 5101
很久以前科学家做过一个生物实验，发现视觉神经元同样可以被训练来作听觉神经元之用。受此启发，不少计算机研究者也在寻找着机器学习领域的大一统–将CV任务和NLP任务使用相同或者类似的结构进行建模。 随着transformer在nlp领域已经杀出了一片天，便有研究者想用它来进军cv领域。Vit，vision transformer正是在此道路上跨出的一大步。 transformer是世界上最好的结构！（误） 原文地址 VIT整体结构 论文中的结构图还是十分简单易懂的，相信如果之前接触过Transformer系列
Vision Transformer(ViT)用于图片分类
weixin_40920183的博客
05-19 4363
Vision Transformer (ViT) 是很新的模型，2020年10月挂在 arXiv 上，2021年正式发表。在所有的公开数据集上，ViT 的表现都超越了最好的 ResNet。...
ViT：视觉Transformer backbone网络ViT论文与代码详解
weixin_37737254的博客
06-06 3万+
VisualTransformerAuthor：louwillMachine Learning Lab 今天开始Visual Transformer系列的第一篇文章，主题是Visi...
VIT 三部曲 -1 Transformer
likely_zhao的专栏
12-15 1万+
赵zhijian：VIT 三部曲 赵zhijian：VIT 三部曲 - 2 Vision-Transformer 赵zhijian：VIT 三部曲 - 3 vit-pytorch 目前在代表分类领域最高权威的imagenet 图片分类竞赛中, CNN的榜首位置收到了来自self attention 类的算法的的挑战,在最新的榜单上, VIT-H/14 以 88.55% Top-1 的准确率成功登顶第一的宝座,成功打败了由nas 出来的efficientNet 系列的模型,也成功打破了基于卷积和pool
ViT论文详解
低吟浅笑
06-22 1157
VIT探索了Transformer在图像识别中的直接应用。与在计算机视觉中使用自注意力的先前工作不同，除了初始patch提取步骤之外，不会将特定于图像的归纳偏差引入架构中。相反，将图像解释为一系列patch，并通过 NLP 中使用的标准 Transformer 编码器对其进行处理。这种简单但可扩展的策略在与大型数据集的预训练相结合时效果出奇地好。因此，Vision Transformer 在许多图像分类数据集上匹配或超过了现有技术，同时预训练成本相对较低。...
屠榜各大 CV 榜，微软分层ViT模型收获近2k star
机器学习算法与Python学习
04-15 282
点击 机器学习算法与Python学习 ，选择加星标精彩内容不迷路机器之心报道屠榜各大 CV 任务的微软 Swin Transformer，近日开源了代码和预训练模型。自 2017 年 6 ...
关于ViT(Vision Transformer)的算法解读
weixin_47728827的博客
05-10 7663
这个我需要做一个详细的了解，因为后边的所有模型都基于此去修改。 代码出处：https://github.com/lucidrains/vit-pytorch 论文自行百度。 话不多说，先上图： 看下代码的实现： 1.参数的了解 v = ViT( image_size = 256, patch_size = 32, num_classes = 1000, dim = 1024, # 每个向量的维度 depth = 6, # 就是上右图的L，就是用了几次这个Tr

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值