从零训练一个Vision Transformer

于 2024-09-11 17:11:47 发布
阅读量876 收藏 13
点赞数 10
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012374012/article/details/142145153
版权

本文涉及到的详细测试代码和测试步骤放置于：

https://github.com/xinyuwei-david/david-share.git下的：Multimodal-Models/Training-VIT，本文中不再赘述代码实现。

欢迎给repo点亮Star，您的点赞是作者持续创作的动力。

截止到目前，CV模型主要是基于卷积神经网络。而随着Transformer的兴起，VISION TRANSFORMER也逐渐被应用。

接下来，我们看一下主流的CV实现，以及它们的特点。

U-Net

  • 特点：编码器-解码器结构，跳跃连接。

  • 网络类型：卷积神经网络（CNN）。

  • 适用场景：图像分割，医学图像处理。

  • 优点：高效处理分割任务，保留细节。

  • 缺点：对大规模数据集的扩展性有限。

  • 使用情况：广泛用于医学图像分割。

  • 主流模型：原始U-Net，3D U-Net，Stable Diffusion。

R-CNN

  • 特点：选择性搜索生成候选区域。

  • 网络类型：基于CNN。

  • 适用场景：目标检测。

  • 优点：检测精度高。

  • 缺点：计算复杂度高，速度慢。

  • 使用情况：已被更快的模型（如Faster R-CNN）取代。

  • 主流模型：Fast R-CNN，Faster R-CNN。

GAN

  • 特点：生成器和判别器对抗训练。

  • 网络类型：框架，通常使用CNN。

  • 适用场景：图像生成，风格迁移。

  • 优点：生成高质量图像。

  • 缺点：训练不稳定，易于模式崩溃。

  • 使用情况：广泛用于生成任务。

  • 主流模型：DCGAN，StyleGAN。

RNN/LSTM

  • 特点：处理序列数据，记忆长时依赖。

  • 网络类型：循环神经网络。

  • 适用场景：时间序列预测，视频分析。

  • 优点：适合处理序列数据。

  • 缺点：训练困难，梯度消失。

  • 使用情况：在序列任务中常用。

  • 主流模型：LSTM，GRU。

GNN

  • 特点：处理图结构数据。

  • 网络类型：图神经网络。

  • 适用场景：社交网络分析，化学分子建模。

  • 优点：捕捉图结构信息。

  • 缺点：对大图的扩展性有限。

  • 使用情况：在图数据任务中使用。

  • 主流模型：GCN，GraphSAGE。

Capsule Networks

  • 特点：胶囊结构，捕捉空间层次关系。

  • 网络类型：基于CNN。

  • 适用场景：图像识别。

  • 优点：捕捉姿态变化。

  • 缺点：计算复杂度高。

  • 使用情况：研究阶段，未广泛应用。

  • 主流模型：Dynamic Routing。

Autoencoder

  • 特点：编码器-解码器结构。

  • 网络类型：可以基于CNN。

  • 适用场景：降维，特征学习。

  • 优点：无监督学习。

  • 缺点：生成质量有限。

  • 使用情况：用于特征提取和降维。

  • 主流模型：Variational Autoencoder (VAE)。

Vision Transformer (ViT)

  • 特点：基于自注意力机制，处理图像块。

  • 网络类型：Transformer。

  • 适用场景：图像分类。

  • 优点：捕捉全局信息。

  • 缺点：需要大量数据进行训练。

  • 使用情况：逐渐流行，尤其在大数据集上。

  • 主流模型：原始ViT，DeiT。

根据论文：《UNDERSTANDING THE EFFICACY OF U-NET & VISION TRANSFORMER FOR GROUNDWATER NUMERICAL MODELLING》

U-Net在效率上通常优于ViT，特别是在稀疏数据场景下。U-Net的架构较为简单，参数较少，因此在计算资源和时间上更为高效。ViT虽然在捕捉全局信息上有优势，但其自注意力机制计算复杂度较高，尤其在处理大规模数据时。

在论文的实验中，U-Net和U-Net结合ViT的模型在准确性和效率上都优于Fourier Neural Operator (FNO)，特别是在数据稀疏的情况下。

在图像处理中，稀疏数据通常指的是图像中的信息不完整或分布不均匀。例如：

  1. 低分辨率图像：像素较少，细节缺失。

  2. 遮挡或缺失：部分区域被遮挡或数据缺失。

  3. 采样不均匀：某些区域的像素密度较低。

    在这些情况下，模型需要从有限的像素信息中推断出完整的图像内容。

 Vision Transformer出现之后，出现了新的分和流派：

  • Facebook AI 的DeiT（Data-efficient Image Transformers）。DeiT 模型是经过精炼的 ViT models,。DeiT 的作者还发布了训练效率更高的 ViT 模型，您可以将其直接插入ViTModel或 ViTForImageClassification。有 4 种变体可用（3 种不同大小）：facebook/deit-tiny-patch16-224、 facebook/deit-small-patch16-224、facebook/deit-base-patch16-224和facebook/deit-base-patch16-384。请注意，应使用DeiTImageProcessor为模型准备图像。

  • 微软研究院的BEiT（BERT pre-training of Image Transformers）。BEiT 模型使用受 BERT（蒙版图像建模）启发并基于 VQ-VAE 的自监督方法，其表现优于监督预训练vision transformers 。

  • Facebook AI 的 DINO（一种 Vision Transformers 的自监督训练方法）。使用 DINO 方法训练的 Vision Transformers 表现出卷积模型所没有的非常有趣的特性。它们能够分割物体，而无需接受过这样的训练。DINO 检查点可以在 hub 上找到。

  • Facebook AI 的MAE（蒙版自动编码器）。通过预训练 Vision Transformers 来重建大部分（75%）蒙版块的像素值（使用非对称编码器-解码器架构），作者表明这种简单的方法在微调后优于监督预训练。

下面这张图描述了Vision Transformer（ViT）的工作流程：

  1. 图像分块：输入图像被分割成固定大小的小块（patches）。

  2. 线性投影：每个图像块被展平并通过线性投影转换为向量。

  3. 位置嵌入：为每个图像块添加位置嵌入，以保留位置信息。

  4. CLS标记：在序列的开头添加一个可学习的CLS标记，用于分类任务。

  5. Transformer编码器：这些嵌入向量（包括CLS标记）被输入到Transformer编码器中，进行多层处理。每层包括多头注意力机制和前馈神经网络。

  6. MLP头：经过编码器处理后，CLS标记的输出被送入多层感知机（MLP）头，用于最终的分类决策。

    整个流程展示了如何使用Transformer架构直接处理图像块序列，实现图像分类任务。

 ​​​​​​

这张图展示了Transformer编码器中的注意力层（Attention Layer）的结构，具体包括：

  1. 多头注意力机制（Multi-Head Attention）：这是Transformer的核心组件。通过多个注意力头，模型可以在不同的子空间中关注输入序列的不同部分，从而捕捉更丰富的特征和关系。

  2. 归一化（Norm）：在多头注意力机制之后进行归一化处理，帮助稳定和加速训练过程。

  3. 残差连接：注意力层中有残差连接，将输入直接加到输出上，促进信息流动并缓解梯度消失问题。
    这些组件共同作用，使得Transformer能够高效地处理和理解输入数据的复杂关系。··

 残差连接（Residual Connections）是一种网络结构设计，用于缓解深层神经网络中的梯度消失问题。它通过在层与层之间添加直接的跳跃连接，将输入直接加到输出上。这种设计使得网络更容易训练，因为它允许梯度直接通过跳跃连接传播，从而保持信息流动。残差连接最初在ResNet中引入，并在许多现代深度学习模型中广泛使用。

参考：

https://huggingface.co/docs/transformers/model_doc/vit

https://arxiv.org/pdf/2307.04010

 

cv2016_DL
关注
  • 10
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【计算机视觉】ViT：Vision Transformer 讲解
LJR的博客
03-18 767
ViT vision transformer BERT NLP CV 图像分类 CLS encoder 全局平均池化 Global Average Pooling GAP patch 注意力 attention 归纳偏置 ResNet BiT CNNs 局部相关性（locality）和平移不变性（translation equivariance） Hybrid 预训练 微调 pretrain fine-tune
51-6 Vision Transformer ，ViT 论文精读
AIgraphX
01-09 1258
ViT取代了CNN，打通了CV和NLP之间的鸿沟，而且挖了一个更大的多模态的坑。ViT未来有可能真就是一个简洁、高效、通用的视觉骨干网络，而且可以完全不用任何标注信息。当拥有足够多的数据进行预训练的时候，ViT的表现就会超过CNN，突破transformer缺少归纳偏置的限制，可以在下游任务中获得较好的迁移效果。
从零开始构建 Vision Transformer（ViT） 模型
2301_78285120的博客
05-27 1614
Transformer 模型最早由 Vaswani 等人在 2017 年论文中提出，并已广泛应用于自然语言处理。2021年，Dosovitsky 等人在论文中提出将 Transformer 用于计算机视觉任务，与卷积网络相比取得了优异的结果。在本文中，我将从头开始构建一个视觉 Transformer 模型，并在 MNIST 数据集上进行测试。这对于算法本身的理解和算法面试大有好处。
Pytorch从零开始实现Vision Transformer (from scratch)
weixin_43594279的博客
05-18 3594
Transformer在NLP领域大放异彩，而实际上NLP（Natural Language Processing，自然语言处理）领域技术的发展都要先于CV（Computer Vision，计算机视觉），那么如何将Transformer这类模型也能适用到图像数据上呢？在2017年Transformer发布后，历经3年时间，Vision Transformer于2020年问世。
如何更快地训练Vision Transformer
qq_29462849的博客
05-16 671
点击上方“计算机视觉工坊”，选择“星标”干货第一时间送达作者丨zzk译来源丨GiantPandaCV近期MetaAI发布了一篇博客，关于如何显著提升Vision Transformer的训练效率。原文：[Significantly faster Vision Transformer training]链接：https://ai.facebook.com/blog/sig...
Vision transformer
juluwangriyue的博客
08-18 890
transformer在机器视觉中的应用。
Vision Transformer综述翻译
Yore_的博客
03-30 1868
视觉Transformer综述 摘要 ​ Transformer是一种基于最初应用在自然语言处理领域上的自注意力机制的深度神经网络。受Transformer强表征能力的启发，研究人员将它扩展到计算机视觉任务上。与卷积网络和循环网络等其他网络类型相比，基于Transformer的模型在各种视觉基准上表现出竞争性甚至更好的性能。在这篇文献综述，我们通过将这些可视化Transformer模型应用在不同类别的任务中，并且对它们的优缺点进行了分析。特别地，主要类别包括基本图像分类、高级视觉、低级视觉和视频处理。也会
Vision Transformer这两年
OneFlow深度学习框架
11-24 6169
在NLP领域取得巨大成功后，Transformer架构在计算机视觉方面的作用日渐凸显，成为越来越普遍的CV工具。自2020年10月Vision Transformer模型推出以来，人们开始高度关注Transformer模型在计算机视觉上的应用。
SepViT: Separable（分离式） Vision Transformer
qq_47896523的博客
07-10 823
SepViT遵循广泛使用的分层架构(Wang et al . 2021c;Dong et al . 2021)和基于窗口的自我注意(Liu et al . 2021)。此外，SepViT还采用了Chu等人的条件位置编码(CPE) （chu et al. 2021 b, a)。对于每个阶段，都有一个重叠的补丁合并层用于特征图下采样，然后是一系列SepViT块。在步长为4或步长为2的情况下，空间分辨率将逐步降低32倍，通道尺寸将逐级增加一倍。
基于深度学习的感知-认知系统
weixin_42605076的博客
09-07 1069
基于深度学习的感知-认知系统将感知和认知过程紧密结合，为机器提供了类似人类的环境感知和智能决策能力。这种系统在自动驾驶、智能机器人、智能监控、医疗诊断等众多领域具有广泛应用前景，并将在未来的研究和发展中继续推动人工智能技术的创新和进步。
深度学习计算机视觉中 feature modulation 操作是什么？
985小菜鸡
09-04 815
在图像分割任务中，Feature Modulation（特征调制）为提高模型的自适应性和精确性提供了强大的工具。通过引入特征缩放、偏移、条件调制等动态调整方法，分割模型可以更好地应对多样化的输入场景、类别和任务需求，特别是在复杂、跨域或具有丰富上下文的场景中效果尤为显著。
如何将卷积神经网络（CNN）应用于医学图像分析：从分类到分割和检测的实用指南
loveting99的博客
09-07 885
U-Net：U-Net是一种用于生物医学图像分割的卷积网络。它的关键特点是具有对称的编码器-解码器结构和跳跃连接（skip connections），可以更好地保留和利用图像的空间信息。DeepLab：DeepLab使用空洞卷积（dilated convolutions）来扩展卷积核的感受野，同时保持图像的分辨率，并结合条件随机场（CRFs）进一步精细化分割结果。：YOLO通过将图像划分为网格，并在每个网格中预测边界框和类别，具有实时检测的优势。
【机器学习】深度学习的现实应用——从图像识别到自然语言处理
Allen-
09-05 2048
深度学习（Deep Learning）是一种基于人工神经网络的机器学习技术，通过构建多层神经网络模型来模拟人类大脑的思维方式。与传统的机器学习方法相比，深度学习可以自动学习数据的特征，避免了手动设计特征的复杂过程。
使用LSTM（长短期记忆网络）模型预测股票价格的实例分析
eeee~~的博客
09-08 1404
本文将演示一个使用Keras库中的LSTM（长短期记忆网络）模型进行股票价格预测的简单示例。
Keras深度学习中文文本分类
最新发布
s44359487yad的博客
09-09 1935
文本分类旨在对文本集按照一定的分类体系或标准进行自动分类标记，属于一种基于分类体系的自动分类。文本分类最早可以追溯到上世纪50年代，那时主要通过专家定义规则来进行文本分类；80年代出现了利用知识工程建立的专家系统；90年代开始借助于机器学习方法，通过人工特征工程和浅层分类模型来进行文本分类。现在多采用词向量以及深度神经网络来进行文本分类。牛亚峰老师将传统的文本分类流程归纳如下图所示。在传统的文本分类中，基本上大部分机器学习方法都在文本分类领域有所应用。KNNSVM集合类方法最大熵神经网络。
CNN的魅力：探索卷积神经网络的无限可能
异构算力老群群（在读985计算机博士生）的技术博客
09-04 1373
在这个数据驱动的时代，人工智能正以前所未有的速度改变着我们的生活。而在人工智能的众多分支中，卷积神经网络（Convolutional Neural Networks, CNN）无疑是最耀眼的一颗明星。从图像识别到自然语言处理，从医疗诊断到自动驾驶，CNN以其独特的结构和强大的学习能力，展现出了无与伦比的魅力。今天，就让我们一起走进CNN的世界，探索它的无限可能。
《卷积神经网络 CNN 原理探秘》
GoppViper的博客
09-05 587
1 CNN网络层级结构输入层卷积层激活层池化层全连接FC层。
[深度学习][LLM]：浮点数怎么表示，什么是混合精度训练？
Bin_Dut的博客
09-04 1035
在日常深度学习训练中，一般使用来表示参数并进行相关训练任务。那么浮点数在内存中是如何存储的呢？在正式开始介绍混合精度训练之前，让我们先对相关基础知识进行介绍。
vision transformer与transformer是一个东西吗
03-05
Vision Transformer（ViT）和Transformer是相关但不完全相同的概念。 Transformer是一种用于序列建模的神经网络架构，最初用于自然语言处理任务，如机器翻译。它由编码器和解码器组成，通过自注意力机制来捕捉输入序列中的上下文信息。 Vision Transformer（ViT）是将Transformer应用于计算机视觉任务的一种方法。传统的计算机视觉模型通常使用卷积神经网络（CNN）来处理图像数据，但ViT提出了一种新的思路，将图像数据转换为序列数据，然后使用Transformer进行处理。具体而言，ViT将图像分割为一系列的图像块（patches），然后将这些图像块展平并作为输入序列传递给Transformer编码器。这样可以利用Transformer强大的建模能力来处理图像数据。 因此，可以说Vision Transformer是一种基于Transformer的计算机视觉模型，它将图像数据转换为序列数据，并利用Transformer进行特征提取和建模。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值