ViT(Vision Transformer)网络结构详解

最新推荐文章于 2025-03-01 14:12:01 发布
最新推荐文章于 2025-03-01 14:12:01 发布
阅读量7.1k 收藏 91
点赞数 43
分类专栏： 深度学习与机器学习 文章标签： transformer 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44115575/article/details/140602240
版权

本文在transformer的基础上对ViT进行讲解，transformer相关部分可以看我另一篇博客（transformer中对于QKV的个人理解-CSDN博客）。

一、网络结构概览

上图展示了Vision Transformer (ViT) 的基本架构，我按照运行顺序分为三个板块进行讲解。以下是 ViT 处理图像的基本步骤：

  1. Embedding（Linear Projection of Flattened Patches）：首先，输入图像被分割成固定大小的patch。每个patch被展平并经过一个线性层，将其转换为特征向量。此外，每个特征向量都会附加一个表示其在原始图像中相对位置的位置嵌入。

  2. Transformer 编码器（Transformer Encoder）：这些预处理过的特征向量作为输入馈送到一系列的 Transformer 层进行编码。每个 Transformer 层包含多头注意力机制（Multi-Head Attention）和前馈神经网络（Feed-Forward Network）。在每个 Transformer 层之间有层归一化（Layer Normalization），以保持特征分布的一致性。

  3. MLP Head 和分类（MLP Head）：最后，来自 Transformer 编码器的最后一层输出通过一个多层感知机（MLP）头部，通常是一个简单的全连接层，用于执行最终的任务，如图像分类。在这个阶段，模型将学习到的特征映射到类概率空间。

上图是另外一个大佬做的细致一点的网络结构图。

1. Embedding

我将Embedding分为4个步骤：

  1. 分割patch
    首先输入为一张图片，vit中默认将图像缩放为224*224，通常利用16*16的patch进行划分得到(224*224) / (16*16)=14*14=196张子图，每张patch的大小为16*16，3通道。
  2. 转换获得token
    将每个二维的补丁转换为可以输入到 Transformer 的一维序列，将14*14个patch展平成一个长向量，再通过线性变换得到196个token，token的长度为768。

    然而，在vit中是利用768个卷积核大小为16*16，stride为16，padding为0的一个卷积层直接对224*224的输入图像进行卷积，从而得到14*14*768的输出，再对其展平得到[196,768]的token，相当于合并了第一步和第二步。
  3. 拼接上类别token

    之后在得到的196个 token 的前面加上加上一个新的Class Token（即图中0号紫色框右边带*的那个框，这不是通过某个patch产生的。其作用类似于BERT中的Class Token。），得到[197,768]的数据。
    在ViT中，Class Token（通常记为CLS）是一个可学习的参数。它在网络初始化时被随机初始化，类似于其他神经网络权重参数。在经过多层Transformer编码器后，Class Token会聚集来自所有图像块的信息，形成图像的全局表示。最终的Class Token表示（即最后一层Transformer编码器输出的Class Token）被输入到一个分类头（通常是一个全连接层）中，用于图像的分类任务。分类头的输出即为预测的类别概率分布。

  4. 加上位置编码

    patch得到的图像是没有位置信息的，需要用position embedding将位置信息加到模型中去。如上图所示，编号有0-9的紫色框表示各个位置的position embedding
    位置编码是    可训练的编码，通过叠加加入到[197,768]的数据中，最终输出[197,768]的数据。


    加了位置编码，性能有明显提升，但是不同编码器的方式对性能提升差不多。所以源码中使用的是1-D位置编码。


    上图呈现了一个热力图，其中水平轴代表输入补丁的列数，垂直轴代表输入补丁的行数，颜色深浅表示相似程度。
    通过观察热力图，我们可以看到随着补丁距离变远，它们的位置嵌入变得越来越不相似。在真实世界中，离得近的物体往往比离得远的物体具有更强的空间相关性。这种特性有助于 ViT 更好地理解图像内容及其结构。

2. Transformer 编码器

Transformer encoder层如图所示，将Transformer encoder重复堆叠 L 次，整个模型也就包括 L 个 Transformer。关于Layer Norm和多头注意力模块的具体解析可以看我主页其他的博客，这里不过多赘述。
MLP中先通过一个线性层将输入数据的通道数变为原来的4倍，之后通过GELU激活函数和Dropout，再通过一个线性层将4倍通道数变为原来的通道数。

3. MLP Head 和分类

MLP Head 层位于 Transformer 编码器之后，用于完成特定任务，如图像分类。该层通常是一个多层感知机（Multilayer Perceptron，简称 MLP），它接收来自 Transformer 编码器的输出，并对其进行进一步处理以生成最终的预测。在不同的场景下，MLP Head 的结构可能会有所不同。

在这张图片中，我们能看到两种情况下的 MLP Head 设计：

  1. 训练 ImageNet21K 时的 MLP Head：

    当训练 ViT 时，特别是在大型数据集如 ImageNet21K 上，MLP Head 包含三个组成部分：线性层、tanh 激活函数以及另一个线性层。这样的设计允许 MLP Head 对编码器输出进行非线性的转换，以适应复杂的模式和特征。激活函数 tanh 提供了一种非线性变形，可以帮助模型学习更复杂的表示。

  2. 迁移至 ImageNet1K 或其他数据集时的 MLP Head：

    当将 ViT 迁移到较小的数据集，如 ImageNet1K 或者自己的数据集时，通常只保留一个线性层。这是因为较小的数据集可能不需要那么多的复杂性，一个线性层就足以提供足够的泛化能力。减少层数也可以降低过拟合的风险。
ViT:实现Vi（sion）T（transformer）
05-26
在PyTorch中实现Vi（sual）T（transformer） 大家好，新年快乐！ 今天，我们将要实现著名的Vi （双） T （变压器），该产品在“。 代码在这里，可以从下载本文的交互式版本。 ViT将很快在我称为新计算机视觉库中提供 这是一个技术教程，而不是您在普通的中级文章中找到的使您变得富有的前5个最重要的熊猫功能。 因此，在开始之前，我强烈建议您： 看看惊人的网站 观看 阅读文档 因此，ViT使用在图像上工作的普通变压器（“提出的一种变压器）。 但是，如何？ 下图显示了ViT的体系结构 输入图像被分解为16x16展平的小块（图像未按比例绘制）。 然后使用普通的完全连接层将它们嵌入，在它们前面添加特殊的cls令牌，并对positional encoding求和。 生成的张量首先传递到标准Transformer，然后传递到分类头。 就是这样。 本文的结构分为以下几节
Vision Transformer (ViT) + 代码【详解】
qq_23022733的博客
09-03 4431
虽然 Transformer 架构已成为自然语言处理任务的事实标准，但它在计算机视觉领域的应用仍然有限。在 Vision 中，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构不变。我们表明，这种对 CNN 的依赖是不必要的，直接应用于图像块序列的纯 Transformer 可以在图像分类任务中表现良好。
计算机视觉｜ViT详解：打破视觉与语言界限
紫雾凌寒
03-01 1345
Vision Transformer（ViT）是计算机视觉的重要创新，通过 Transformer 架构捕捉图像全局依赖，在图像分类、目标检测、语义分割中展现潜力。其核心是将图像分块并嵌入，结合位置编码输入 Transformer 编码器，通过自注意力建模全局关系。预训练与微调、数据增强、优化器调整提升了性能。
Vision Transformer(Vit)网络模型
weixin_42888638的博客
08-29 1886
Vision transformer学习
PyTorch深度学习（23）Transformer及网络结构ViT
JYliangliang的博客
04-02 2263
一、Transformer 二、ViT网络
【ViT详解】Vision Transformer网络结构及代码解读
日拱一卒，功不唐捐
08-30 4672
Vit网络结构及源码详解
ViT网络模型
Yore_的博客
03-30 1万+
一、背景介绍： 自2017年Google提出的Transformer结构以来，迅速引发一波热潮，最初《Attention is all you need》这篇论文的提出是针对于NLP领域的，通过自注意力机制代替传统处理序列数据时采用的循环神经网络结构，不仅实现了并行训练，提升了训练的效率，同时也在应用中取得很好的结果。之后的一段时间中，各种基于Transformer改进的网络结构涌现出来，在不同领域中都达到SOTA的效果。 2020年Google又提出了《AN IMAGE IS WORTH 16X16 WO
Vision Transformer模型架构详解
张小殊的博客
12-12 8814
2019年开始，自然语言处理（NLP）领域抛弃了循环神经网络（RNN）序列依赖的问题，开始采用Attention is All you need的Transformer结构[1]，其中的Attention是一种可以让模型专注于重要的信息并能够充分学习和吸收的技术。在NLP领域中，伴随着各种语言Transformer模型的提出使得多项语言处理任务的精度和模型深度开始飞速提升。由于基于Transformer的预训练语言模型非常成功，研究者开始探索其在视觉领域的应用。
图像分类：Pytorch实现Vision Transformer（ViT）进行图像分类
FriendshipTang的博客
04-17 3214
PyTorch、人工智能、图像分类、ViT
深度学习之图像分类（十八）-- Vision Transformer(ViT)网络详解
热门推荐
木卯_THU的博客
09-09 4万+
深度学习之图像分类（十八）Vision Transformer(ViT)网络详解 目录深度学习之图像分类（十八）Vision Transformer(ViT)网络详解1. 前言2. ViT 模型架构2.1 Embedding 层2.2 Transformer Encoder 层2.3 MLP Head 层2.4 ViT B/162.5 ViT 模型参数3. Hybrid 混合模型4. 代码 上节有讲 Transformer 中的 Self-Attention 结构。本节学习 Vision Transform
Vision transforme基本结构介绍
weixin_43969854的博客
03-14 5197
论文原文：https://arxiv.org/pdf/2010.11929.pdf 中文版知乎解读：[论文笔记] ViT - 知乎 网络基本思想： 通过transformer完成nlp和cv类网络结构的统一。 NLP网络输入序列，通过Encoder和Decoder完成对于序列信息的编码和解码。CV网络中基础为图片（假设图片大小为224×224×3），通过卷积和MLP完成图片信息的抽取和分类（假设为分类网络）。 将Transformer应用与图片上，主要就是替换掉原有的卷积层（更确切地说是通过a...
VIT(vision transformer)结构解析
Accident_xy的博客
12-08 1498
vit
Vision Transformer详解
weixin_47414581的博客
06-11 1174
虽然架构已成为 NLP 任务的事实标准，但它在 CV 中的应用仍然有限。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持其整体结构。我们证明了这种对 CNNs 的依赖是不必要的，直接应用于图像块序列 (sequences of image patches) 的纯 Transformer 可以很好地执行图像分类任务。当对大量数据进行预训练并迁移到多个中小型图像识别基准时 (ImageNet、CIFAR-100、VTAB 等)，与 SOTA 的 CNN 相比，
Vision Transformer (ViT) 计算复杂度详解
qq_41037856的博客
11-23 1209
输入图像H×W×CHWC。
Vision Transformer （ViT）初识：原理详解及代码
周红伟讲AI
03-12 2197
以ViT-B/16为例，使用一个卷积核大小为16x16，步距为16，卷积核个数为768的卷积来实现。通过卷积[224, 224, 3] -> [14, 14, 768]，然后把H以及W两个维度展平即可[14, 14, 768] -> [196, 768]，此时正好变成了一个二维矩阵，正是Transformer想要的。需要注意的是第一个全连接层会把输入节点个数翻4倍[197, 768] -> [197, 3072]，第二个全连接层会还原回原节点个数[197, 3072] -> [197, 768]
Vision Transformer
W1995S的博客
07-06 1705
论文： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale 论文下载：https://arxiv.org/abs/2010.11929 原论文源码：https://github.com/google-research/vision_transformer 文章目录摘要Vision TransformerEmbedding层Transformer Encoder层MLP Head层Vision Transform
ViT 模型介绍（二）——模型架构
金陵城中夜将沉的博客
02-24 1373
ViT 是一个基于 Transformer 架构的计算机视觉模型，它将 Transformer 直接应用于图像分类任务，跳脱了传统卷积神经网络（CNN）的框架ViT的核心思想是将图像转化为一维的序列数据，并将其输入到Transformer中进行处理，最终进行分类。以下是ViT模型的详细架构解析
详细说说VIT架构和Transformer架构的异同
强化学习曾小健
12-11 1161
ViT是将Transformer架构应用于视觉领域的一种创新尝试，它通过自注意力机制对图像进行建模。然而，由于两者在输入数据结构、架构设计及应用场景上的不同，导致它们各自在各自领域内有着不同的优势和劣势。Transformer更适合处理序列数据，而ViT则为视觉任务提供了一种新的思路和方法。ViT（Vision Transformer）和Transformer架构在计算机视觉和自然语言处理领域都有广泛的应用。它们虽然共享一些核心组件，但在设计和应用上存在显著差异。通过上述步骤，ViT将。
【Transformer系列】深入浅出理解ViT(Vision Transformer)模型
IT菜鸟
10-15 4万+
【Transformer系列】深入浅出理解ViT(Vision Transformer)网络模型
ｖｉｔ
最新发布
04-03
### VIT 模型概述 Vision Transformer (ViT) 是一种将 Transformer 架构引入计算机视觉领域的模型，其核心思想是通过分割图像为固定大小的 patches，并将其转换为 tokens 后送入 Transformer 的编码器部分进行处理[^1]。这种设计使得 ViT 能够像传统的卷积神经网络（CNNs）一样完成图像分类任务。 #### 图像预处理与特征嵌入 在 ViT 中，输入图像会被划分为多个固定尺寸的小块（patches），这些小块随后被展平并映射到高维空间中的 token 表示形式。为了保留位置信息，在将 patch 序列传递给 Transformer 编码器之前会加入可学习的位置嵌入向量[^2]。最终得到的输入张量形状为 `[num_patches + 1, embedding_dim]`，其中 `+1` 对应于额外添加的一个类别标记（class token）用于后续分类任务。 #### Transformer 编码器模块 ViT 使用标准的多头自注意力机制以及前馈网络构成每一层的 Transformer 编码器[^3]。具体来说，每个多头自注意单元允许模型关注不同区域之间的关系，而全连接层则负责进一步提取局部特征。经过若干次堆叠之后，最后一层输出包含了全局上下文信息丰富的表征结果。 #### 多层感知机(MLP) 分类头部 最后一步是在序列的第一个元素——也就是 class token 上接上一个多层感知机作为预测组件来实现具体的分类功能。整个过程可以概括如下： ```python import torch from transformers import ViTModel model = ViTModel.from_pretrained('google/vit-base-patch16-224') inputs = { 'pixel_values': torch.randn((1, 3, 224, 224)) } outputs = model(**inputs) last_hidden_states = outputs.last_hidden_state logits = last_hidden_states[:, 0].unsqueeze(-1).squeeze() # 只取第一个token(class token) print(logits.shape) # 输出维度应该是(batch_size, num_classes) ``` 上述代码片段展示了如何加载预训练好的 ViT 模型并对单幅图片执行推理操作。 --- ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值