Vision Transformer

最新推荐文章于 2024-05-22 10:30:57 发布
最新推荐文章于 2024-05-22 10:30:57 发布
阅读量825 收藏 5
点赞数 1
分类专栏： Transformer
原文链接：https://blog.csdn.net/qq_37541097/article/details/118242600
版权

论文： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale
论文下载：https://arxiv.org/abs/2010.11929
原论文源码：https://github.com/google-research/vision_transformer

文章目录

摘要

在这篇文章中，作者主要拿ResNet、ViT（纯Transformer模型）以及Hybrid（卷积和Transformer混合模型）三个模型进行比较。

Vision Transformer

在这里插入图片描述

  • Linear Projection of Flattened Patches(Embedding层)
  • Transformer Encoder(图右侧有给出更加详细的结构)
  • MLP Head（最终用于分类的层结构）

Embedding层

在这里插入图片描述

Transformer Encoder层

在这里插入图片描述在这里插入图片描述

MLP Head层

在这里插入图片描述

Vision Transformer网络结构

以ViT-B/16为例
在这里插入图片描述

Hybrid模型

在这里插入图片描述下表是论文用来对比ViT，Resnet（和刚刚讲的一样，使用的卷积层和Norm层都进行了修改）以及Hybrid模型的效果。通过对比发现，在训练epoch较少时Hybrid优于ViT，但当epoch增大后ViT优于Hybrid。
在这里插入图片描述

ViT模型搭建参数

在论文的Table1中有给出三个模型（Base/ Large/ Huge）的参数，在源码中除了有Patch Size为16x16的外还有32x32的。其中的Layers就是Transformer Encoder中重复堆叠Encoder Block的次数，Hidden Size就是对应通过Embedding层后每个token的dim（向量的长度），MLP size是Transformer Encoder中MLP Block第一个全连接的节点个数（是Hidden Size的四倍），Heads代表Transformer中Multi-Head Attention的heads数。
在这里插入图片描述

参考大佬：https://blog.csdn.net/qq_37541097/article/details/118242600

THE@JOKER
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Vision Transformer的Pytorch源码各模块实现
认真努力，做一只会飞的毛毛虫。
02-10 1228
其实看ViT网络代码主要是学会最基础的transformer模型搭建，是CV从业者必须要走一段路。在明白transformer原理之后(具体参考我之前的两篇博文：CV领域Transformer之Self-Attention原生理解和Transformer-Encoder & Decoder细节详解（以DETR为例)，搭建ViT可以说是信手拈来。整个ViT网络无非就是卷积层和Multi-Head Self-attention的搭积木，如下所示： ViT网络的输入图像尺寸必须为固定尺寸，否则需要自
VisionTransformer-Pytorch
05-14
视觉变压器火炬 此项目是从 / 和 / ，为您提供了现成的API，可让您像EfficientNet一样容易地使用VisionTransformer。 快速开始 使用pip install vision_transformer_pytorch安装，并使用以下命令加载经过预训练的VisionTransformer： from vision_transformer_pytorch import VisionTransformer model = VisionTransformer.from_pretrained('ViT-B_16') 关于视觉变压器PyTorch Vision Transformer Pytorch是Vision Transformer的PyTorch重新实现，它基于常用的深度学习库的最佳实践之一 ，以及的优雅实现工具 。 在这个项目中，我们旨在使我们的PyTorch实施尽
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用型号 我们提供，这些是从原始jax / flax wieghts转换而来的。 您可以下载它们并将文件放在“ weights / pytorch”下以使用它们。 否则，您可以下载，并将这些帧放在“ weights / jax”下以使用它们。 我们将在线为您转换权重。 数据集 当前支持三个数据集：ImageNet2012，CI
pytorch实现vision_transformer_hybrid
AI浩
02-21 1204
github地址：https://github.com/rwightman/pytorch-image-models/ 记录一下模型，方便查阅 """ Hybrid Vision Transformer (ViT) in PyTorch A PyTorch implement of the Hybrid Vision Transformers as described in: 'An Image Is Worth 16 x 16 Words: Transformers for Image Recogni
一文讲透 Vision Transformer 网络
2301_78285120的博客
05-22 1005
Transformer最初提出是针对NLP领域的，并且在NLP领域大获成功。这篇论文也是受到其启发，尝试将Transformer应用到CV领域。关于Transformer的部分理论之前的博文中有讲，链接，这里不再赘述。通过这篇文章的实验，给出的最佳模型在ImageNet1K上能够达到88.55%的准确率（先在Google自家的JFT数据集上进行了预训练），说明Transformer在CV领域确实是有效的，而且效果还挺惊人。
ViT基本原理，图像预训练
AI生成式技术曾小健
06-08 2121
ViT作者团队出品，在CNN和Transformer大火的背景下，舍弃了卷积和注意力机制，提出了MLP-Mixer，一个完全基于MLPs的结构，其MLPs有两种类型，分别是和，前者独立作用于image patches（融合通道信息），后者跨image patches作用（融合空间信息）。实验结果表明该结构和SOTA方法同样出色，证明了convolution和attention不是必要操作，如果将其替换为简单的MLP，模型依然可以完美work。
Vision Transformer (ViT)及各种变体
damadashen的博客
05-31 4820
本文主要讲述Vision Transformer的模型架构及其各种变体介绍。
【计算机视觉】Vision Transformer （ViT）详细解析
Danger的博客
04-01 8900
【计算机视觉】Vision Transformer （ViT）详细解析
【ViT详解】Vision Transformer网络结构及代码解读
日拱一卒，功不唐捐
08-30 4000
Vit网络结构及源码详解
深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解
热门推荐
木卯_THU的博客
09-09 3万+
深度学习之图像分类（十八）Vision Transformer(ViT)网络详解 目录深度学习之图像分类（十八）Vision Transformer(ViT)网络详解1. 前言2. ViT 模型架构2.1 Embedding 层2.2 Transformer Encoder 层2.3 MLP Head 层2.4 ViT B/162.5 ViT 模型参数3. Hybrid 混合模型4. 代码 上节有讲 Transformer 中的 Self-Attention 结构。本节学习 Vision Transform
【论文阅读】Vision Transformer 模型详解
aixiaomi123的博客
11-24 6601
关于Vision Transformer模型的详解 ，末尾附原论文下载链接以及pytorch代码。
Vision transforme基本结构介绍
weixin_43969854的博客
03-14 5070
论文原文：https://arxiv.org/pdf/2010.11929.pdf 中文版知乎解读：[论文笔记] ViT - 知乎 网络基本思想： 通过transformer完成nlp和cv类网络结构的统一。 NLP网络输入序列，通过Encoder和Decoder完成对于序列信息的编码和解码。CV网络中基础为图片（假设图片大小为224×224×3），通过卷积和MLP完成图片信息的抽取和分类（假设为分类网络）。 将Transformer应用与图片上，主要就是替换掉原有的卷积层（更确切地说是通过a...
vision transformer预训练
12-06
在计算机视觉领域，Transformer模型已经成为一种重要的工具，尤其是Vision Transformer (ViT)的出现，它打破了传统的卷积神经网络(CNN)在图像识别任务中的主导地位。预训练技术在自然语言处理领域取得了显著成功，如...
猫狗数据集的二分类图像识别项目：基于VIT(vision transformer)
02-08
1、本项目基于VIT(vision transformer)迁移学习的图像分类。 2、模型已训练好，可以直接运行，服务器上使用8个GPU，训练200个epoch，accuracy达到0.995。 3、资源中包含了猫狗二分类数据集。 4、如果想要训练自己...
VIT(vision transformer)实现图像分类
05-29
VIT(vision transformer)实现图像分类，是将transformer首次应用于CV(计算机视觉)领域，该资源包含所有源代码，拿走技能运行跑通，包含数据集和训练好的权重，分类精度高达99%以上。
Vision Transformer图像分类
最新发布
07-12
Vision Transformer图像分类
Vision Transformer (ViT)
a264672的博客
11-27 1721
文章目录Vision Transformer (ViT)1. 回顾Transformer (TRM)2. ViT2.1. 输入处理2.2. patch embedding（结构图的2）2.3. CLS 和位置编码（结构图的3）2.4. Encoder（结构图的4）2.5. 总结 edited by nrzheng，2021.11.27 参考视频1 参考视频2 参考链接 Vision Transformer (ViT) 1. 回顾Transformer (TRM) transformer网络结构如下图所示：
学习笔记 | Vision Transformer（ViT）
LiRongLu_的博客
08-23 378
Vision Transformer（ViT）；Transformer具有两大核心能力：自监督（Self-supervision）和自注意力（Self-Attention ），自监督使得Transformer可以在超大规模的无标签数据集上训练，然后在有标签的小数据集上进行训练，这样训练得到的模型有较强的泛化能力。
搞懂 Vision Transformer 原理和代码，看这篇技术综述就够了（四）
算法码上来
03-27 2882
↑ 点击蓝字关注极市平台作者丨科技猛兽审稿｜邓富城编辑丨极市平台极市导读本文为详细解读Vision Transformer的第四篇，主要包括2种vision Transformer的内...
vision Transformer
03-06
Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，用于处理计算机视觉任务。它将图像分割成一系列的图像块，并将每个图像块作为输入序列传递给Transformer编码器。每个图像块通过一个线性投影层转换为向量表示，并与位置嵌入向量相结合，然后输入到Transformer编码器中进行处理。Transformer编码器由多个自注意力层和前馈神经网络层组成，用于学习图像中的全局和局部特征。最后，通过一个线性分类器对编码器的输出进行分类。 Vision Transformer的优点是能够在没有使用传统卷积神经网络的情况下，实现对图像的高质量特征提取和分类。它在一些计算机视觉任务上取得了与传统方法相媲美甚至更好的性能，例如图像分类、目标检测和语义分割等任务。 以下是一个使用Vision Transformer进行图像分类的示例代码[^1]： ```python import torch import torch.nn as nn from torchvision import transforms from torchvision.models import resnet50 from vit_pytorch import ViT # 加载预训练的Vision Transformer模型 model = ViT( image_size = 224, patch_size = 16, num_classes = 1000, dim = 768, depth = 12, heads = 12, mlp_dim = 3072, dropout = 0.1, emb_dropout = 0.1 ) # 加载预训练的权重 model.load_from('vit_weights.pth') # 图像预处理 transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) # 加载图像并进行预处理 image = Image.open('image.jpg') image = transform(image).unsqueeze(0) # 使用Vision Transformer进行图像分类 output = model(image) _, predicted_class = torch.max(output, 1) # 输出预测结果 print('Predicted class:', predicted_class.item()) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值