2020：ViT（Vision Transformer）【将Transformer应用在图像分类的模型】【当拥有足够多的数据进行预训练的时候，ViT的表现就会超过ResNets，反之不如】

已于 2024-02-14 14:00:32 修改
阅读量2.1k 收藏 14
点赞数 2
分类专栏： 计算机视觉/CV # LLM/Transformer 文章标签： transformer 深度学习 神经网络
于 2023-02-19 18:00:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/129112763
版权
本文介绍了ViT（Vision Transformer）模型，它将Transformer架构应用于图像分类，尤其是在大规模数据预训练下能超越ResNets。尽管在数据量不足时可能表现不佳，但通过调整训练策略，如增加数据增强和正则化，ViT在多个任务中展现出卓越性能。同时，论文探讨了与CNN和MLP-Mixer结构的比较，以及预训练和数据量对模型性能的影响。
摘要由CSDN通过智能技术生成

本文重点介绍ViT原理，同时简单介绍三篇相关论文，这四篇论文的源码见 https://github.com/google-research/vision_transformer

arXiv:2010.11929：An image is worth 16x16 words: Transformers for image recognition at scale（ViT大法，一般人没钱做的工作）

arXiv:2105.01601：MLP-Mixer: An all-MLP Architecture for Vision （用MLPs替代self-attention可以得到和ViT同样好的结果）

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 2
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
Visual Transformer (ViT)模型详解
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-31 3万+
ViT是2020年Google团队提出的将Transformer应用在图像分类的模型，虽然不是第一篇将transformer应用在视觉任务的论文，但是因为其模型“简单”且效果好，可扩展性强（scalable，模型越大效果越好），成为了transformer在CV领域应用的里程碑著作，也引爆了后续相关研究。
VIT(vision transformer)实现图像分类
05-29
VIT(vision transformer)实现图像分类，是将transformer首次应用于CV(计算机视觉)领域，该资源包含所有源代码，拿走技能运行跑通，包含数据集和训练好的权重，分类精度高达99%以上。
Vision Transformer图像分类
最新发布
m0_73546954的博客
07-12 1014
近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。本文材料来自昇腾打卡训练营。主要内容为用mindspore框架，ViT模型对图像的分类。
Vision Transformer(ViT)用于图片分类
weixin_40920183的博客
05-19 4390
Vision Transformer (ViT) 是很新的模型，2020年10月挂在 arXiv 上，2021年正式发表。在所有的公开数据集上，ViT 的表现都超越了最好的 ResNet。...
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用型号 我们提供，这些是从原始jax / flax wieghts转换而来的。 您可以下载它们并将文件放在“ weights / pytorch”下以使用它们。 否则，您可以下载，并将这些帧放在“ weights / jax”下以使用它们。 我们将在线为您转换权重。 数据集 当前支持三个数据集：ImageNet2012，CI
论文：ViT（Transformer 图像分类）
cztAI的博客
06-23 1万+
论文：https://arxiv.org/abs/2010.11929 pytorch代码：https://github.com/lucidrains/vit-pytorch 1. 前言 在计算机视觉中，卷积结构仍然占主导地位。 受NLP中Transformer扩展成功的启发，我们尝试将标准Transformer直接应用于图像，并进行最少的修改。为此，我们将图像拆分为小块，并提供这些小块的线性嵌入序列作为Transformer的输入。图像图块与NLP应用程序中的token（words）的处理方式相同，以监督
一文窥探近期大火的Transformer以及在图像分类领域的应用
热门推荐
果菌药的博客
02-07 2万+
本文首先将简要介绍Transformer的原理与其各个组成部分、Transformer在自然语言处理（NLP）领域的应用；接下来文章从图片分类与目标检测的角度介绍相应Transformer的应用；最后本文将介绍Transformer在应用到CV领域时依然存在的不足以及未来可能的研究方向。
ViT: transformer在图像领域的应用
orangerfun的博客
02-17 1049
ViT：transformer在图像中的应用
猫狗数据集的二分类图像识别项目：基于VIT(vision transformer)
02-08
1、本项目基于VIT(vision transformer)迁移学习的图像分类。 2、模型已训练好，可以直接运行，服务器上使用8个GPU，训练200个epoch，accuracy达到0.995。 3、资源中包含了猫狗二分类数据集。 4、如果想要训练自己...
图像分类：Pytorch实现Vision Transformer（ViT）进行图像分类
04-17
**图像分类：Pytorch实现Vision Transformer（ViT）进行图像分类** 在计算机视觉领域，图像分类是一项基础且关键的任务，其目标是将输入图像分配到预定义的类别中。近年来，Transformer模型，最初由Vaswani等人在...
vision transformer预训练
12-06
vision transformer self-supervised
ViT系列 | 24小时用1张GPU训练一个Vision Transformer可还好？
CV_Autobot的博客
11-24 1502
作者|小书童 编辑|汽车人点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群后台回复【transformer综述】获取2022最新ViT综述论文！‍Transformers已成为计算机视觉最新进展的核心。然而，从头开始训练ViT模型可能会耗费大量资源和时间。在本文中旨在探索降低ViT模型训练成本的方法。引入了一些算法改进，以便能够...
VIT图像分类
zhangyan的博客
06-20 1320
vit图像分类
用 Transformers微调ViT图像分类
weixin_41446370的博客
05-28 2279
批处理以字典列表的形式出现，因此您可以将它们解压缩+堆叠到批处理张量中。由于 将返回批处理字典，因此您可以稍后将输入到模型中。return {来自的准确度指标可以轻松用于将预测与标签进行比较。下面，您可以看到如何使用datasetscompute_metricsTrainer让我们加载预训练模型。我们将添加 init，以便模型创建具有正确单位数的分类头。我们还将在 Hub 微件中包含 和 映射以具有人类可读的标签（如果您选择 ）。快准备好训练了！
VIT用于图像分类 学习笔记（附代码）
PLANTTHESON的博客
01-05 4717
VIT用于图像分类 学习笔记（附代码）
Tesla AI day中感知部分的详细解析（一）——Transformer在图像领域的应用
liu3612162的博客
11-07 4138
最近针对特斯拉AI day2022内容进行了初步的了解，三个小时的发布会涵盖了方方面面的内容，其中基于纯视觉和深度学习的BEV感知升级版Occupancy Network形成的3D感知系统着实让人惊艳，而想要了解Occupancy Network，必须先了解其前身BEV感知，而其中一大关键点是参考了Transformer的网络结构对不同时空的数据输入进行处理，本系列文章主要针对相关技术从源头开始解析，由于个人技术能力有限，不可能面面俱到，仅当作抛砖引玉了。
Vision Transformer 图像分类识别 基于 ViT（Vision Transformer）的图像十分类 实战 完整代码 毕业设计
03-18 1841
Vision Transformer 图像分类识别 基于 ViT（Vision Transformer）的图像十分类 实战 完整代码 毕业设计
【小实验1】比较ResNet、ViT、SwinTransformer的归纳偏置（然而并没有达到预期结果）
syh的技术记录
11-08 1771
本实验并未获得预期的结果，更多的是当作实验记录。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值