Vision Transformer预训练模型

最新推荐文章于 2024-08-19 17:21:23 发布
最新推荐文章于 2024-08-19 17:21:23 发布
阅读量6.6k 收藏 18
点赞数 1
分类专栏： 自监督 文章标签： transformer 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21157073/article/details/121741777
版权
2020自监督学习迎来井喷式发展，涌现了一大批优秀的自监督工作。同时，vision Transformer也是2020掷地有声的工作。于是在2021终于自监督与Transformer开始结合，并展现出惊人的效果。

vision transformer

自监督学习

自监督旨在通过无标签的数据来训练模型，但其训练方式是有监督的，其监督标签来自数据本身，这也就是自监督的由来。受益于文字天然存在的语义依赖以及序列性，自监督在NLP领域中使用最为广泛，BERT, GPT等基于Transformer的工作借助自监督方式为NLP研究提供了高质量的预训练与词向量模型。
在计算机视觉中，自监督与对比学习相辅相成。在研究中关注如何设计有效的对比损失或者采样得到对比样本,eg:Moco, BYOL，以此对模型进行有效的训练。随着Transformer在视觉领域中得到重视，研究者开始探索是否能将NLP中自监督的成功经验使用到视觉预训练模型中，最大程度解放视觉模型对数据标签的依赖，下面这个表。
在这里插入图片描述

有监督Vision Transformer

谷歌首先的视觉中使用Transformer，第一次大规模的采用纯transformer做cv任务的文章，验证了Transformer在cv领域的有效性，也拉开了Transformer在cv领域发展的序幕。
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale（Google发表在ICLR 2021）

  1. 将图片分块并拉成一个序列，形成类似NLP中的一句话，每个分块类似一个单词
  2. 加入对每个块的位置编码，并添加class token用于最终分类
  3. 输入Transformer中进行块之间特征的融合
  4. 最终使用class token完成分类

VIT中指出在视觉中使用Transformer需要大量的数据作为支撑，而其自身也是在谷歌私有数据上训练（JFT-300M）得到，所以其复现有一定的难度。针对此Facebook 设计了Deit: Data-efficient image Transformers来缓解VIT对数据的依赖。
Training data-efficient image transformers & distillation through attention（Facebook AI ICML2020）

  1. 在VIT class token基础上加入distillation token用于知识蒸馏
  2. distillation token用于拟合一个teacher netowork（VGG）的输出
  3. 最终使用两个token共同完成分类

由于有teacher network的知识注入，模型能够学习到更加精细的特征，能够有效缓解模型对数据的依赖。

无监督Vision Transformer预训练

Generative Pretraining from Pixels（ICML 2020 cv中GPT）

  1. 通过k-means将RGB值分成512个簇。然后每个像素被分配到最近的簇中心
  2. 首先降低图片分辨率，然后reshape为1D的输入
  3. 选择autoregressive或者BERT目标函数进行无监督训练
  4. 测试结果

BEiT: BERT Pre-Training of Image Transformers（ICLR2022）
出发点：像素级别的auto-encoding不好做，所以本文在patch上做image-pathes + visual-tokens。这篇文章跟Kaiming最新的那篇文章不同之处是，这篇文章把图片离散化成了一个一个的数字，所以可以和文本一样进行处理，另外，Kaiming的文章对patch进行了一定程度的移除，所以可以省计算量，而这篇文章却没有。

  1. 使用VQ-VAE对图片进行编码得到visual tokens（过程类似可学习的聚类）
  2. 将图片分块得到image patches
  3. Mask掉一些图像块，展成1维向量输入VIT中计算
  4. 使用Head预测被Mask掉的image patches的visual tokens
  5. 完成预训练，在下游任务测试精度

PeCo: Perceptual Codebook for BERT Pre-training of Vision Transformers (中科大+微软)
出发点：像素级捕捉不到语义信息，图像稍微平移并不影响语义，但是像素损失却会发生很大变动；相较于BEiT更好的visual token

  1. 在原有VQ-VAE损失基础上加入感知损失来，帮助模型捕捉语义信息

Masked Autoencoders Are Scalable Vision Learners

  1. 75%的image patches被mask掉，mask掉许多使得模型必须使用高层语义信息才可补全
  2. 针对像素级别做重建
  3. 不对称的encoder-decoder，decoder并不负责图像的表达，所以其相对来说不关键，降低它可以有效降低计算时间
  4. 没有mask掉的patch不参与训练

SimMIM: A Simple Framework for Masked Image Modeling（微软亚洲研究院 几乎跟MAE一样）
出发点：
（1）使用中等块进行随机mask就可以得到不错的效果
（2）直接预测原始像素就可以得到不错效果，（无需进行复杂的patch设计）
（3）decoder简单就行

Emerging Properties in Self-Supervised Vision Transformers（ICCV2021 类似BYOL）
出发点：一个新的自监督任务

  1. 使用原始图像产生x1，x2
  2. teacher输出使用centering扰动（为产生不同于student预测）
  3. 交叉熵衡量两个网络的预测损失
  4. student使用反向传播，teacher参数更新来自student（θt ← λθt + (1 − λ)θs）
DeepWWJ
关注
专栏目录
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用型号 我们提供，这些是从原始jax / flax wieghts转换而来的。 您可以下载它们并将文件放在“ weights / pytorch”下以使用它们。 否则，您可以下载，并将这些帧放在“ weights / jax”下以使用它们。 我们将在线为您转换权重。 数据集 当前支持三个数据集：ImageNet2012，CI
Vision Transformer模型与预训练权重简析
caoyz的专栏
06-03 1万+
ViT (Vision Transformer) 是首次成功将 Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述，并对预训练文件ViT-B_16.npz的内容做一个简要介绍。
深度学习（10）---Vision Transformer详解
最新发布
m0_62881487的博客
08-19 1120
1. Vision Transformer（ViT）是一种基于Transformer架构的深度学习模型，它将Transformer模型从自然语言处理（NLP）领域成功扩展到计算机视觉（CV）领域。2. Vision Transformer由Google Brain团队在2020年提出，该模型挑战了卷积神经网络（CNN）在视觉任务中的主导地位，证明了Transformer架构不仅在处理序列数据（如文本）方面非常有效，在处理图像数据时也能取得卓越性能。
【pytorch】Vision Transformer实现图像分类+可视化+训练数据保存
Leon的博客
04-30 2万+
一、Vision Transformer介绍 Transformer的核心是 “自注意力” 机制。 论文地址：https://arxiv.org/pdf/2010.11929.pdf 自注意力（self-attention）相比 卷积神经网络 和 循环神经网络 同时具有并行计算和最短的最大路径⻓度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型 [Cheng et al., 2016,Lin et al., 2017b, Paulus
视觉-语言预训练模型综述
寸先生的AI道路
03-14 8093
Li F, Zhang H, Zhang Y F, et al. Vision-Language Intelligence: Tasks, Representation Learning, and Large Models[J]. arXiv preprint arXiv:2203.01922, 2022. 按照时间顺序将VLP模型分为三个阶段：特定任务的方法，视觉语言预训练(VLP)方法，以及由大规模弱标记数据加持的更大的模型三大类。 第一阶段：特定任务方法 三类主流任务：Image Captioni
【深度学习】详解 Vision Transformer (ViT)
热门推荐
闻韶
07-18 11万+
【深度学习】详解 Vision Transformer (ViT)
vision transformer预训练
12-06
本篇我们将深入探讨"vision transformer预训练"以及相关的自监督学习方法。 自监督学习是一种无需人工标注数据的训练方式，通过设计特定的任务让模型从原始数据中自我学习。在视觉领域，SimCLR、SimCLRV2、BYOL、...
dinov2代码与预训练模型
06-18
Dinov2的预训练模型可能是基于Transformer架构，这种架构在处理序列数据时具有出色性能，最初在BERT（Bidirectional Encoder Representations from Transformers）模型中被引入，并广泛应用于自然语言处理任务。...
第八次组会PPT_Vision in Transformer
04-23
JFT-300M是Google内部的一个大型图像分类数据集，包含17,000个类别和3.5亿张图像，适合预训练模型。ImageNet-21k则有1400万个图像，尺寸和分辨率各异，适合进一步的训练。ImageNet-1k是ImageNet-21k的一个子集，包含...
搞懂 Vision Transformer 原理和代码系列
01-19
在代码实现部分，你可能会学到如何预处理图像，如何构建Transformer模型，如何设置超参数，以及如何使用预训练模型进行微调。这可能涉及到PyTorch或TensorFlow等深度学习框架，以及相关的库如Hugging Face ...
如何更快地训练Vision Transformer
qq_29462849的博客
05-16 683
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨zzk译来源丨GiantPandaCV近期MetaAI发布了一篇博客，关于如何显著提升Vision Transformer的训练效率。原文：[Significantly faster Vision Transformer training]链接：https://ai.facebook.com/blog/sig...
vision transformer学习
weixin_44373480的博客
10-24 389
根据transformer 我学习了vision transformer代码块，敲一敲表示明白了，大佬讲解链接： https://space.bilibili.com/18161609?spm_id_from=333.788.b_765f7570696e666f.2 传入ocr数据集可以训练得到结果，比用transformer训练更快，因为vit模型只用了transfomer的encoder from functools import partial from collections import Orde
2020：ViT（Vision Transformer）【将Transformer应用在图像分类的模型】【当拥有足够多的数据进行预训练的时候，ViT的表现就会超过ResNets，反之不如】
u013250861的博客
02-19 2216
ViT作者团队出品，在CNN和Transformer大火的背景下，舍弃了卷积和注意力机制，提出了MLP-Mixer，一个完全基于MLPs的结构，其MLPs有两种类型，分别是和，前者独立作用于image patches（融合通道信息），后者跨image patches作用（融合空间信息）。实验结果表明该结构和SOTA方法同样出色，证明了convolution和attention不是必要操作，如果将其替换为简单的MLP，模型依然可以完美work。
一文详解Vision Transformer（附代码）
机器学习社区
01-19 3446
Transformer 在 NLP 中大获成功，Vision Transformer 则将 Transformer 模型架构扩展到计算机视觉的领域中，并且它可以很好的地取代卷积操作，在不依赖卷积的情况下，依然可以在图像分类任务上达到很好的效果。卷积操作只能考虑到局部的特征信息，而 Transformer 中的注意力机制可以综合考量全局的特征信息。Vision Trans
关于使用Vision Transformer训练cifar-10
ling_01cs的博客
11-16 835
因为CIFAR-10数据是32*32像素大小，我们需要将它转化为224*224像素大小。
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
IT菜鸟
10-15 1万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
第49步 深度学习图像识别：Vision Transformer建模（Pytorch）
qq_30452897的博客
07-10 1676
第49步 深度学习图像识别：Vision Transformer建模 （Pytorch）
十大预训练模型，助力入门深度学习（第1部分 - 计算机视觉）
weixin_33881050的博客
08-16 955
介绍 对于希望运用某个现有框架来解决自己的任务的人来说，预训练模型可以帮你快速实现这一点。通常来说，由于时间限制或硬件水平限制大家往往并不会从头开始构建并训练模型，这也就是预训练模型存在的意义。大家可以使用预训练模型作为基准来改进现有模型，或者针对它测试自己的模型： 图片来源：Facebook AI 在本文中，将向大家介绍Keras中多种可应用在计算机...
【论文阅读】Generative Pretraining from Pixels
kanon的博客
03-05 1307
受自然语言中无监督表示学习进展的启发，作者研究了类似的模型是否能够学习图像的有用表示，训练了一个序列Transformer来自回归地预测像素，而不包含2D输入结构的知识。尽管是在低分辨率的ImageNet上进行训练，没有标签，但实验发现一个GPT-2规模的模型通过线性探测、微调和低数据分类学习，学习到了强大的图像表示。在CIFAR-10上，使用线性探测达到了96.3%的准确率，超过了监督的Wide ResNet，全微调达到了99.0%的准确率，与顶级监督预训练模型相匹配。
vit transformer预训练模型
09-22
vit transformer预训练模型是ViT (Vision Transformer)的预训练模型，它是将Transformer引入到视觉领域的一次成功尝试。ViT的原理是将图像分割成不重叠的图块，并使用Transformer编码器将每个图块作为输入，然后通过自注意力机制来建立图像的全局特征表示。预训练模型ViT-B_16.npz是ViT的一种预训练权重文件，它包含了ViT模型在大规模图像数据集上预训练的参数。 参考资料： : ViT (Vision Transformer)是首次成功将 Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述，并对预训练文件ViT-B_16.npz的内容做一个简要介绍。 : ViT (Vision Transformer)是首次成功将 Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。其原理如图1所示。 : 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值