T2T-ViT：在ImageNet上从头训练视觉Transformer

最新推荐文章于 2024-07-16 11:25:05 发布
最新推荐文章于 2024-07-16 11:25:05 发布
阅读量4.6k 收藏 12
点赞数 4
分类专栏： Transformer 开源项目 backbone 文章标签： 人工智能 深度学习 算法 机器学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/113408546
版权
文章介绍了T2T-ViT，一种新型的视觉Transformer，旨在解决ViT在ImageNet上从头训练时的效率问题。T2T-ViT采用逐层tokens到token转换，减少了参数和计算量，同时提高了性能。实验证明，T2T-ViT在减少200%参数和MAC的情况下，性能优于ViT和ResNet，达到了与MobileNets相当的水平。
摘要由CSDN通过智能技术生成

本文提出一种新的Tokens到Token 视觉Transformer（T2T-ViT）！性能更快更强，将原始ViT的参数和MAC减少200％，性能优于ViT、ResNet等网络，代码刚刚开源！

昨天才推了一个CNN+Transformer的新backbone：CNN+Transformer！谷歌提出BoTNet：新主干网络！在ImageNet上达84.7%，今天又来了一个新工作，CV圈太内卷了！

不过这篇论文中并没有在目标检测、实例分割等下游任务上的充足实验数据，如果加上相关分析就更好了，毕竟现在"backbone"可不好被review
注1：文末附【Transformer】流群

注2：整理不易，欢迎点赞，支持分享！

在这里插入图片描述

Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet
在这里插入图片描述

  • 作者单位：新加坡国立大学, 依图科技
  • 代码：https://github.com/yitu-opensourc
最低0.47元/天 解锁文章
Amusi（CVer）
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet
阿木寺的博客
01-29 3411
本文提出一种新的Tokens到Token 视觉Transformer（T2T-ViT）！性能更快更强，将原始ViT的参数和MAC减少200％，性能优于ViT、ResNet等网络，代码刚刚开源！ 昨天才推了一个CNN+Transformer的新backbone：CNN+Transformer！谷歌提出BoTNet：新主干网络！在ImageNet上达84.7%，今天又来了一个新工作，CV圈太内卷了！ 不过这篇论文中并没有在目标检测、实例分割等下游任务上的充足实验数据，如果加上相关分析就更好了，毕竟现在"back
miniimagenet的图像预处理代码_Pytorch数据预处理：transforms的使用方法
weixin_39605647的博客
11-21 397
最近再做关于COVID-19的CT图像判断，因为得到的CT图片数据集很少，在训练网络的术后准确度很低。但是又很难找到其他数据集。所以在训练网络的时候，我们很关注对图像的预处理操作，并使用了数据增强的方法。import torchvision.transforms as transforms import cv2 img_path = "./panda.jpg" train_tr...
Vision Transformer (ViT)
zephyr_wang的博客
10-04 1023
ViT有两个特点，一是采用纯Transformer，没有CNN；二是基于大量的预训练数据。
详解视觉Transformers
最新发布
u012374012的专栏
07-16 1485
从2017年在《Attention is All You Need》中首次提出以来，Transformer模型已经成为自然语言处理（NLP）领域的最新技术。在2021年，论文《An Image is Worth 16x16 Words》成功地将Transformer应用于计算机视觉任务。从那时起，基于Transformer的各种架构陆续被提出用于计算机视觉。Transformer是一种利用注意力机制作为主要学习机制的机器学习模型，它很快成为了序列到序列任务（如语言翻译）的最新技术。
T2T-ViT用于人脸识别.rar
02-23
用于人脸识别的T2T-ViT网络。可参考博客：https://blog.csdn.net/Bixiwen_liu/article/details/114894804?spm=1001.2014.3001.5501
ViT基本原理，图像预训练
AI生成式技术曾小健
06-08 2740
ViT作者团队出品，在CNN和Transformer大火的背景下，舍弃了卷积和注意力机制，提出了MLP-Mixer，一个完全基于MLPs的结构，其MLPs有两种类型，分别是和，前者独立作用于image patches（融合通道信息），后者跨image patches作用（融合空间信息）。实验结果表明该结构和SOTA方法同样出色，证明了convolution和attention不是必要操作，如果将其替换为简单的MLP，模型依然可以完美work。
使用ViT（Vision transformer）来训练Cifar10数据集
HELLOWORLD2424的博客
10-09 9544
下面的代码是使用ViT训练Cifar10数据集的demo。
ViT预训练
轻舟已过万重山
01-27 247
CVPR 2022 何凯明。
预训练图像处理Transformer
小白学视觉
05-05 1942
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作为自然语言处理领域的主流模型，Transformer 近期频频出现在计算机视觉领域的研究中。例如 OpenAI 的 iGPT、Facebook 提出的 DETR 等，这些跨界模型多应用于图像识别、目标检测等高层视觉任务。而华为、北大、悉大以及鹏城实验室近期提出了一种新型预训练 Transformer ...
T2T-ViT
03-06
现在，通过在ImageNet上从头开始训练，具有21.5M参数的T2T-ViT-14可以达到81.5％的top1-acc。 2021/02/21：我们的T2T-ViT可以使用“ --amp”（自动混合精度）稳定地在大多数常见GPU上进行训练：1080Ti，2080Ti，...
"自适应T2T-ViT: 从零开始训练的视觉转换器
558××代币到代币ViT：在ImageNet上从零开始训练视觉转换器LiYuan1*，YunpengChenn2，TaoWang1，3*，WeihaoYu1，YujunShi1，Zihang Jiang1，Francis E.H.泰1、嘉世丰1、水城燕11新加坡国立大学2依图科技3新加坡国立...
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用型号 我们提供，这些是从原始jax / flax wieghts转换而来的。 您可以下载它们并将文件放在“ weights / pytorch”下以使用它们。 否则，您可以下载，并将这些帧放在“ weights / jax”下以使用它们。 我们将在线为您转换权重。 数据集 当前支持三个数据集：ImageNet2012，CI
Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet（阅读笔记）
GXU_PJM的博客
03-06 1287
Abstract 在ImageNet上从头训练一个vision transformer（ViT）模型，ViT模型可以不依赖CNN，直接应用于图像块序列进行图像分类，但是在中等大小数据集（例如imageNet)上的效果不如CNN，主要原因：1.输入图像简单token化无法建模重要的局部特征。2.ViT的冗余注意力主干网设计在固定负载和有限样本约束下限制了特征丰富性。本文提出渐进式token化（Tokens to token)使每个Token更好地建模局部信息，借助CNN架构思想使用deep-narrow结构
Vision Transformer学习
胡乱学点东西
07-05 379
Transformer 1、搞懂Transformer DETR 1、搞懂DEtection TRanformer(DETR) 2、End-to-End Object Detection with Transformers[DETR] 3、DETR（DEtection TRansformer）的初步摸索 4、DETR详解:NLP里面的Transformer也能做目标检测？ 5、DETR：Facebook提出基于Transformer的目标检测新范式，性能媲美Faster RCNN | ECCV 2020 O
视觉Transformer的复仇！Meta AI提出DeiT III：ViT训练的全新baseline
阿木寺的博客
05-06 688
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：机器之心作者：Adam Zewe |编辑：赵阳、张倩本文提出了训练视觉 Transformer（ViT）的三种数据增强方法：灰度、过度曝光、高斯模糊，以及一种简单的随机剪枝方法 (SRC)。实验结果表明，这些新方法在效果上大大优于 ViT 此前的全监督训练方法。Transformer 模型...
#今日论文推荐#Multi-modal Multi-task Masked Autoencoder：一种简单、灵活且有效的 ViT 预训练策略
w1hsxn的博客
05-13 196
#今日论文推荐#Multi-modal Multi-task Masked Autoencoder：一种简单、灵活且有效的 ViT 预训练策略 本文介绍了一种简单、灵活且有效的Vit预训练策略。 MAE是一种使用自监督预训练策略的ViT，通过遮蔽输入图像中的补丁，然后预测缺失区域进行子监督与训练。尽管该方法既简单又有效，但 MAE 预训练目标目前仅限于单一模态——RGB 图像——限制了在通常呈现多模态信息的实际场景中的应用和性能。 在新论文 MultiMAE: Multi-modal Multi-task
DeepViT：字节提出深层ViT的训练策略 | 2021 arxiv
晓飞的算法工程笔记
07-09 883
作者发现深层ViT出现的注意力崩溃问题，提出了新颖的Re-attention机制来解决，计算量和内存开销都很少，在增加ViT深度时能够保持性能不断提高来源：晓飞的算法工程笔记 公众号。
ViT（Vision Transformer）原理及基于pytorch构建和训练视觉Transformer实例（ViTransformer）
bayesian1的博客
07-09 1502
ViT（Vision Transformer）原理及基于pytorch构建和视觉Transformer实例（ViTransformer）
ViT-Adapter: 提升Vision Transformer在密集预测任务上的性能
"这篇论文是关于在ICLR 2023上发表的Open-Vocabulary SAM，主要探讨了如何利用Vision Transformer (ViT)进行密集预测任务，并提出了ViT-Adapter这一新方法。" 正文: 在计算机视觉领域，Transformer架构，尤其是...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值