Vision Transformer预训练模型

最新推荐文章于 2025-04-01 13:53:25 发布
最新推荐文章于 2025-04-01 13:53:25 发布
阅读量6.9k 收藏 18
点赞数 1
分类专栏： 自监督 文章标签： transformer 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21157073/article/details/121741777
版权
2020自监督学习迎来井喷式发展，涌现了一大批优秀的自监督工作。同时，vision Transformer也是2020掷地有声的工作。于是在2021终于自监督与Transformer开始结合，并展现出惊人的效果。

vision transformer

自监督学习

自监督旨在通过无标签的数据来训练模型，但其训练方式是有监督的，其监督标签来自数据本身，这也就是自监督的由来。受益于文字天然存在的语义依赖以及序列性，自监督在NLP领域中使用最为广泛，BERT, GPT等基于Transformer的工作借助自监督方式为NLP研究提供了高质量的预训练与词向量模型。
在计算机视觉中，自监督与对比学习相辅相成。在研究中关注如何设计有效的对比损失或者采样得到对比样本,eg:Moco, BYOL，以此对模型进行有效的训练。随着Transformer在视觉领域中得到重视，研究者开始探索是否能将NLP中自监督的成功经验使用到视觉预训练模型中，最大程度解放视觉模型对数据标签的依赖，下面这个表。
在这里插入图片描述

有监督Vision Transformer

谷歌首先的视觉中使用Transformer，第一次大规模的采用纯transformer做cv任务的文章，验证了Transformer在cv领域的有效性，也拉开了Transformer在cv领域发展的序幕。
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale（Google发表在ICLR 2021）

  1. 将图片分块并拉成一个序列，形成类似NLP中的一句话，每个分块类似一个单词
  2. 加入对每个块的位置编码，并添加class token用于最终分类
  3. 输入Transformer中进行块之间特征的融合
  4. 最终使用class token完成分类

VIT中指出在视觉中使用Transformer需要大量的数据作为支撑，而其自身也是在谷歌私有数据上训练（JFT-300M）得到，所以其复现有一定的难度。针对此Facebook 设计了Deit: Data-efficient image Transformers来缓解VIT对数据的依赖。
Training data-efficient image transformers & distillation through attention（Facebook AI ICML2020）

  1. 在VIT class token基础上加入distillation token用于知识蒸馏
  2. distillation token用于拟合一个teacher netowork（VGG）的输出
  3. 最终使用两个token共同完成分类

由于有teacher network的知识注入，模型能够学习到更加精细的特征，能够有效缓解模型对数据的依赖。

无监督Vision Transformer预训练

Generative Pretraining from Pixels（ICML 2020 cv中GPT）

  1. 通过k-means将RGB值分成512个簇。然后每个像素被分配到最近的簇中心
  2. 首先降低图片分辨率，然后reshape为1D的输入
  3. 选择autoregressive或者BERT目标函数进行无监督训练
  4. 测试结果

BEiT: BERT Pre-Training of Image Transformers（ICLR2022）
出发点：像素级别的auto-encoding不好做，所以本文在patch上做image-pathes + visual-tokens。这篇文章跟Kaiming最新的那篇文章不同之处是，这篇文章把图片离散化成了一个一个的数字，所以可以和文本一样进行处理，另外，Kaiming的文章对patch进行了一定程度的移除，所以可以省计算量，而这篇文章却没有。

  1. 使用VQ-VAE对图片进行编码得到visual tokens（过程类似可学习的聚类）
  2. 将图片分块得到image patches
  3. Mask掉一些图像块，展成1维向量输入VIT中计算
  4. 使用Head预测被Mask掉的image patches的visual tokens
  5. 完成预训练，在下游任务测试精度

PeCo: Perceptual Codebook for BERT Pre-training of Vision Transformers (中科大+微软)
出发点：像素级捕捉不到语义信息，图像稍微平移并不影响语义，但是像素损失却会发生很大变动；相较于BEiT更好的visual token

  1. 在原有VQ-VAE损失基础上加入感知损失来，帮助模型捕捉语义信息

Masked Autoencoders Are Scalable Vision Learners

  1. 75%的image patches被mask掉，mask掉许多使得模型必须使用高层语义信息才可补全
  2. 针对像素级别做重建
  3. 不对称的encoder-decoder，decoder并不负责图像的表达，所以其相对来说不关键，降低它可以有效降低计算时间
  4. 没有mask掉的patch不参与训练

SimMIM: A Simple Framework for Masked Image Modeling（微软亚洲研究院 几乎跟MAE一样）
出发点：
（1）使用中等块进行随机mask就可以得到不错的效果
（2）直接预测原始像素就可以得到不错效果，（无需进行复杂的patch设计）
（3）decoder简单就行

Emerging Properties in Self-Supervised Vision Transformers（ICCV2021 类似BYOL）
出发点：一个新的自监督任务

  1. 使用原始图像产生x1，x2
  2. teacher输出使用centering扰动（为产生不同于student预测）
  3. 交叉熵衡量两个网络的预测损失
  4. student使用反向传播，teacher参数更新来自student（θt ← λθt + (1 − λ)θs）
Transformer模型的预训练与微调技术
AI天才研究院
04-24 1070
介绍了自然语言处理技术的发展历程，特别是Transformer模型的崛起，并详细介绍了Transformer模型的核心概念、算法原理和应用场景。自然语言处理技术是人工智能领域的重要研究方向，其目标是使计算机能够理解和处理人类语言。近年来，随着深度学习技术的兴起，NLP领域取得了显著的进展。Transformer模型是一种基于自注意力机制的深度学习模型，它采用编码器-解码器架构，并通过多头注意力机制来捕捉输入序列中不同位置之间的依赖关系。
从零开始训练ViT（Vision Transformer）
qingkahui24689的博客
09-09 2012
这篇文章我们将一起深入探讨计算机视觉领域的一项重要贡献——Vision Transformer（ViT），本文聚焦于ViT自发布以来的最新实现方法。
vision transformer预训练
12-06
vision transformer self-supervised
Vision Transformer实战：如何将Transformer应用于图像分类
最新发布
像风一样自由
04-01 1018
传统图像分类任务由CNN主导，但Transformer凭借其**全局建模能力**，在ImageNet等基准任务中刷新了记录。2020年，Vision Transformer（ViT）的提出标志着Transformer正式进军CV领域。本文将以实战为导向，详解如何用纯**Transformer实现图像分类**，并提供完整PyTorch代码实现。
vision-transformer-pytorch:带有预训练模型的Pytorch版本的Vision Transformer（ViT）。 这是CASL（https
04-13
视觉变压器-火炬 视觉变压器的Pytorch实现。 提供了预先训练的pytorch权重，这些权重是从原始jax /亚麻权重转换而来的。 这是和的项目。 介绍 Pytorch实施的论文 。 我们提供从预训练的jax /亚麻模型转换而来的预训练的pytorch权重。 我们还提供微调和评估脚本。 获得了与类似的结果。 安装 创建环境： conda create --name vit --file requirements.txt conda activate vit 可用型号 我们提供，这些是从原始jax / flax wieghts转换而来的。 您可以下载它们并将文件放在“ weights / pytorch”下以使用它们。 否则，您可以下载，并将这些帧放在“ weights / jax”下以使用它们。 我们将在线为您转换权重。 数据集 当前支持三个数据集：ImageNet2012，CI
vision transformer学习
weixin_44373480的博客
10-24 436
根据transformer 我学习了vision transformer代码块，敲一敲表示明白了，大佬讲解链接： https://space.bilibili.com/18161609?spm_id_from=333.788.b_765f7570696e666f.2 传入ocr数据集可以训练得到结果，比用transformer训练更快，因为vit模型只用了transfomer的encoder from functools import partial from collections import Orde
如何更快地训练Vision Transformer
qq_29462849的博客
05-16 783
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨zzk译来源丨GiantPandaCV近期MetaAI发布了一篇博客，关于如何显著提升Vision Transformer的训练效率。原文：[Significantly faster Vision Transformer training]链接：https://ai.facebook.com/blog/sig...
Vision Transformer模型与预训练权重简析
caoyz的专栏
06-03 1万+
ViT (Vision Transformer) 是首次成功将 Transformer引入到视觉领域的尝试，开辟了视觉Transformer的先河。这里先对ViT的原理进行阐述，并对预训练文件ViT-B_16.npz的内容做一个简要介绍。
Vision Transformer预训练模型提升准确率
资源摘要信息:"vit_base_patch16_224_in21k.zip是一个包含了Vision Transformer预训练模型的压缩包。Vision Transformer(ViT)是一种基于自注意力机制的模型，主要用于处理计算机视觉问题，如图像分类、目标检测、...
Transformer的预训练模型
培根芝士的专栏
10-16 1262
Transformer的预训练模型有很多，其中一些在自然语言处理（NLP）和计算机视觉等领域取得了巨大成功。
【深度学习 Transformer】训练 Vision Transformer (ViT) 进行图像分类：不使用预训练模型
赖德发的博客
09-19 2410
Vision Transformer (ViT) 是一种将自然语言处理中大放异彩的 Transformer 架构应用于计算机视觉任务的模型。ViT 通过将图像分割成多个小块（patches），然后将这些小块视为序列数据输入到 Transformer 模型中，从而实现对图像的分类和其他视觉任务。
多重预训练视觉模型的迁移学习
weixin_33946605的博客
12-19 321
获取完整代码地址： https://github.com/Hezi-Resheff/Oreilly-Blog/tree/master/01_Transfer_Learning_Multiple_Pre_Trained 许多被称为“深度学习”的方法已经出现在机器学习和数据科学领域。在所有的这些“深度学习”方法中，有一种尤为...
关于使用Vision Transformer训练cifar-10
ling_01cs的博客
11-16 1404
因为CIFAR-10数据是32*32像素大小，我们需要将它转化为224*224像素大小。
【自然语言处理】【多模态】多模态综述：视觉语言预训练模型
bqw的博客
07-09 6937
多模态预训练模型综述、模型结构、损失函数、下游任务、CLIP
[视觉模型]开源预训练模型简介
计算机视觉
07-21 364
Model Size Top1 accuracy Top5 accuracy Parameters Depth Usage VGG16 528MB 0.713 0.901 138357544 23
全站最全OAK计算机视觉（CV）预训练模型汇总（持续更新）
oakchina的博客
04-10 967
编辑：OAK中国 来源：oakchina.cn 版权说明：转载请注明出处 前言 Hello，大家好，这里是OAK中国，我是助手君。 我们整理了8大类CV预训练模型，累计200+模型，可用在OAK上。下载地址 1.对象检测模型 2.对象识别模型 3.其他识别模型 4.分割模型 5.人类姿态估计演示 6.图像类 7.文本类 8.分类模型 参考资料 https://docs.oakchina.cn/en/latest/ https://www.oakchina.cn/selection-gui.
Vision Transformer(ViT)论文解读与代码实践(Pytorch)
qq_51957239的博客
09-21 1万+
RGB为彩色图片，L为灰度图片= 'RGB':这里解释一下collate_fn这个静态方法：collate_fn方法的作用是定义数据加载时的批处理操作。在PyTorch中，数据加载器（DataLoader）将数据集按照指定的批次大小（batch size）加载到模型中进行训练或推断。当数据集中的样本具有不同的大小或形状时，需要对每个批次进行适当的处理，以便能够对其进行批处理计算。
【pytorch】Vision Transformer实现图像分类+可视化+训练数据保存
热门推荐
Leon的博客
04-30 3万+
一、Vision Transformer介绍 Transformer的核心是 “自注意力” 机制。 论文地址：https://arxiv.org/pdf/2010.11929.pdf 自注意力（self-attention）相比 卷积神经网络 和 循环神经网络 同时具有并行计算和最短的最大路径⻓度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型 [Cheng et al., 2016,Lin et al., 2017b, Paulus
视觉-语言预训练模型综述
寸先生的AI道路
03-14 8505
Li F, Zhang H, Zhang Y F, et al. Vision-Language Intelligence: Tasks, Representation Learning, and Large Models[J]. arXiv preprint arXiv:2203.01922, 2022. 按照时间顺序将VLP模型分为三个阶段：特定任务的方法，视觉语言预训练(VLP)方法，以及由大规模弱标记数据加持的更大的模型三大类。 第一阶段：特定任务方法 三类主流任务：Image Captioni
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值