3、Vision Transformer (ViT): 开启视觉识别的新纪元

已于 2024-01-10 10:47:13 修改
阅读量1.3k 收藏 21
点赞数 26
分类专栏： AIGC论文笔记 深度学习 文章标签： transformer 深度学习 人工智能
于 2024-01-08 11:06:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_34461199/article/details/135451714
版权
文章介绍了Transformer在计算机视觉领域的创新应用，特别是ViT（VisionTransformer），它通过全局注意力机制、分块序列化处理和预训练-微调策略，改进了图像识别性能。文章详细描述了ViT的网络架构、实现步骤和一个简易代码示例。
摘要由CSDN通过智能技术生成

目录

一、论文题目

二、背景与动机

三、卖点与创新

四、具体实现细节

网络架构

具体实现步骤

简易代码 

五、一些资料

一、论文题目

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scaleicon-default.png?t=N7T8https://arxiv.org/abs/2010.11929

二、背景与动机

        在深度学习领域，卷积神经网络（CNN）长期以来一直占据着计算机视觉任务的主导地位，尤其在图像分类、目标检测等方面取得了显著成果。然而，CNN的设计基于局部感受野和权重共享等特性，对于全局信息的捕获存在一定的局限性。近年来，随着Transformer架构在自然语言处理（NLP）领域的巨大成功，研究者们开始思考如何将这种强大的序列建模能力引入到计算机视觉中。

三、卖点与创新

        Vision Transformer的主要创新点在于将Transformer架构直接应用于图像。

  1. 全局注意力机制：ViT的最大创新之处在于其采用了Transformer中的自注意力机制，摒弃了卷积层，能够对输入图像进行全局分析，这使得模型可以更好地理解和学习图像中的长距离依赖关系，从而提升模型性能。

  2. 分块序列化处理：ViT将整个图像分割成固定大小的 patches，并将这些patches线性嵌入后形成一个序列输入到Transformer中。这种“图像变序列”的处理方式，使得ViT可以直接利用NLP领域的成熟技术，在图像识别上表现出强大的适应性和灵活性。

  3. 预训练与微调：ViT借鉴了BERT等模型的预训练-微调策略，通过大规模无标注数据集进行预训练，然后在特定任务上进行微调，这一策略大大提升了模型的泛化能力和迁移学习效果。

四、具体实现细节

网络架构

具体实现步骤

  1. 输入图片shape为[224, 224, 3] [224,224,3]
  2. 通过Patch Embedding，即一个卷积 + Flatten()，生成shape为 [196,768] 的tokens
  3. 进行Class Embedding，即torch.concat(tokens, cls_token)
    cls_token为可训练参数，tokens的shape变化为： [196,768]→[197,768]
  4. Position Embedding，加上位置编码tokens，即tokens = tokens + pos_tokens
    pos_tokens为可训练参数，tokens的shape变化为： [197,768]→[197,768]
  5. 通过Dropout层
  6. 经过 若干层Transformer Encoder
  7. 经过LayerNorm层，shape为 [197,768]
  8. 提取Class Token所对应的输出
    这里的实现为切片，对 [197,768] 进行切片，只需要提取出Class Token对应的输出( [1,768] )即可
  9. 通过MLP Head得到最终的输出
    在自己训练集上使用，Pre-Logits就不要了，MLP Head就是nn.Linear
  10. 通过Softmax得到概率输出

简易代码 

import torch
from torch import nn
from torch.nn import functional as F

class SelfAttention(nn.Module):
    def __init__(self, embed_dim, heads):
        super().__init__()
        self.embed_dim = embed_dim
        self.heads = heads
        self.head_dim = embed_dim // heads
        
        assert (
            self.head_dim * heads == embed_dim
        ), "embed_dim must be divisible by heads"
        
        # 分割嵌入向量到多个头部，每个头部有一个独立的线性层
        self.values = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.keys = nn.Linear(self.head_dim, self.head_dim, bias=False)
        self.queries = nn.Linear(self.head_dim, self.head_dim, bias=False)
        # 输出线性层将多头输出再次结合起来
        self.fc_out = nn.Linear(heads * self.head_dim, embed_dim)
    
    def forward(self, values, keys, queries, mask):
        N = queries.shape[0] # 批量大小
        value_len, key_len, query_len = values.shape[1], keys.shape[1], queries.shape[1]

        # 分割输入以适应多头注意力机制
        # 维度从(N, seq_length, embed_dim)变为(N, seq_length, heads, head_dim)
        values = values.reshape(N, value_len, self.heads, self.head_dim)
        keys = keys.reshape(N, key_len, self.heads, self.head_dim)
        queries = queries.reshape(N, query_len, self.heads, self.head_dim)

        # 将嵌入向量通过线性层并计算自注意力矩阵
        # 注意力矩阵的维度为(N, heads, query_len, key_len)
        values = self.values(values)
        keys = self.keys(keys)
        queries = self.queries(queries)

        # 使用“einsum”进行自注意力机制的运算
        energy = torch.einsum("nqhd,nkhd->nhqk", [queries, keys])

        if mask is not None:
            energy = energy.masked_fill(mask == 0, float("-1e20"))

        attention = torch.softmax(energy / (self.embed_dim ** (1 / 2)), dim=3)

        # 将注意力矩阵与值向量相乘并重新排列回原来的维度
        out = torch.einsum("nhql,nlhd->nqhd", [attention, values]).reshape(
            N, query_len, self.heads * self.head_dim
        )

        # 最终通过一个线性层得到输出
        out = self.fc_out(out)
        return out

class TransformerBlock(nn.Module):
    def __init__(self, embed_dim, heads, dropout, forward_expansion):
        super().__init__()
        self.attention = SelfAttention(embed_dim, heads)
        self.norm1 = nn.LayerNorm(embed_dim)
        self.norm2 = nn.LayerNorm(embed_dim)
        
        # 前馈网络使用两个线性层
        self.feed_forward = nn.Sequential(
            nn.Linear(embed_dim, forward_expansion*embed_dim),
            nn.ReLU(),
            nn.Linear(forward_expansion*embed_dim, embed_dim)
        )
        
        self.dropout = nn.Dropout(dropout)
        
    def forward(self, value, key, query, mask):
        attention = self.attention(value, key, query, mask)
        
        # 添加skip connection, 然后进行层归一化和dropout
        x = self.dropout(self.norm1(attention + query))
        forward = self.feed_forward(x)
        out = self.dropout(self.norm2(forward + x))
        return out

class ViT(nn.Module):
    def __init__(self, img_size, patch_size, num_classes, dim, depth, heads, mlp_dim, channels=3, dropout=0.1, emb_dropout=0.1):
        super().__init__()
        self.img_size = img_size
        self.patch_size = patch_size
        self.dim = dim
        self.depth = depth
        
        self.num_patches = (img_size // patch_size) ** 2
        self.patch_dim = channels * patch_size ** 2
        
        # 位置编码和CLS token初始化
        self.pos_embedding = nn.Parameter(torch.randn(1, self.num_patches+1, dim))
        self.patch_to_embedding = nn.Linear(self.patch_dim, dim)
        self.cls_token = nn.Parameter(torch.randn(1, 1, dim))
        self.dropout = nn.Dropout(emb_dropout)
        
        # 创建多个Transformer块
        self.transformer = nn.Sequential(
            *[TransformerBlock(dim, heads, dropout, mlp_dim) for _ in range(depth)]
        )
        
        self.to_cls_token = nn.Identity()
        
        # MLP头部用于分类任务
        self.mlp_head = nn.Sequential(
            nn.Linear(dim, mlp_dim),
            nn.ReLU(),
            nn.Linear(mlp_dim, num_classes)
        )
        
    def forward(self, x, mask=None):
        N, C, H, W = x.shape  # 图像维度
        # 切割图像成patches并平铺
        x = x.view(N, C, H // self.patch_size, self.patch_size, W // self.patch_size, self.patch_size)
        x = x.permute(0, 2, 4, 3, 5, 1)  # N, n_patches, patch_size, patch_size, C
        x = x.flatten(2)  # N, n_patches, patch_dim
        x = x.flatten(1)  # N, n_patches * patch_dim
        
        patches = self.patch_to_embedding(x)  # N, num_patches, dim
        cls_tokens = self.cls_token.expand(N, -1, -1)  # N, 1, dim
        x = torch.cat((cls_tokens, patches), dim=1)  # N, num_patches+1, dim
        x += self.pos_embedding  # 加上位置编码
        x = self.dropout(x)

        x = self.transformer(x, mask)  # N, num_patches+1, dim
        
        x = self.to_cls_token(x[:, 0])  # N, dim
        return self.mlp_head(x)  # N, num_classes

# 设置超参数 (根据你的数据和资源进行调整)
img_size = 256  # 图像大小
patch_size = 32  # patch大小
num_classes = 10  # 分类类别数量
channels = 3  # 图像通道数
dim = 1024  # 嵌入向量的维度
depth = 6  # Transformer块的数量
heads = 8  # 注意力头的数量
mlp_dim = 2048  # 前馈网络的隐藏层维度
dropout = 0.1  # dropout比率
emb_dropout = 0.1  # embedding dropout比率

# 实例化模型
vit = ViT(
    img_size=img_size,
    patch_size=patch_size,
    num_classes=num_classes,
    dim=dim,
    depth=depth,
    heads=heads,
    mlp_dim=mlp_dim,
    channels=channels,
    dropout=dropout,
    emb_dropout=emb_dropout
)

# 创建一个假的图像张量 (批大小, 通道数, 高度, 宽度)
img = torch.randn(1, channels, img_size, img_size)

# 获得预测结果
preds = vit(img)  # 维度为 (1, num_classes)
print(preds)

五、一些资料

ViT (Visual Transformer) - 知乎Acknowledge论文名称： An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale原论文对应源码： https://github.com/google-research/vision_transformerPyTorch实现代码： pytorch_classi…icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/464920124

O_meGa
关注
专栏目录
Vision Transformer 图像分类识别 基于 ViT（Vision Transformer）的图像十分类 实战 完整代码 毕业设计
03-18 1986
Vision Transformer 图像分类识别 基于 ViT（Vision Transformer）的图像十分类 实战 完整代码 毕业设计
YoloV9改进策略：主干网络改进|YoloV9与InceptionNeXt主干网络的创新融合|显著提升性能，引领视觉识别新纪元|即插即用
m0_47867638的博客
08-18 583
受 Vision Transformer 长程依赖关系建模能力的启发，大核卷积最近被广泛研究和采用，以扩大感受野和提高模型性能，如采用7×7深度卷积的杰出工作connext。虽然这种深度算子只消耗少量的flop，但由于其较高的访存开销，极大地影响了模型在功能强大的计算设备上的效率。例如，ConvNeXt-T与ResNet-50具有类似的FLOPs，但在A100 gpu上进行全精度训练时，仅实现了60%的吞吐量。虽然减小ConvNeXt的核大小可以提高速度，但会导致性能的显著下降。
图像识别中的 Vision Transformers (ViT)
GarryWang1248的博客
12-23 2411
在 ICLR 2021 上作为会议论文发表的一篇研究论文中介绍了 Vision Transformer (ViT) 模型架构，题为“An Image is Worth 16*16 Words: Transformers for Image Recognition at Scale”。它由 Neil Houlsby、Alexey Dosovitskiy 以及Google 研究大脑团队的另外 10 位作者开发和发布。微调代码 和预训练的ViT模型可在 Google 研究团队的 GitHub 上获取。你可以在。
【多模态】ViT模型技术学习
威化饼的一隅
10-10 2849
最近多模态模型特别火，一起从头学习ViT和Transformer！本文记录一下学习过程，所以是自上而下的写，从ViT拆到Transformer。
推荐项目：Vision Transformer (ViT) —— 图像识别的新纪元
gitblog_00090的博客
05-31 502
推荐项目：Vision Transformer (ViT) —— 图像识别的新纪元 去发现同类优质开源项目:https://gitcode.com/ 在计算机视觉领域，我们正经历一场由Vision Transformer带来的革命。这款基于TensorFlow的实现，以其独特的方法展示了Transformer在大规模图像识别中的强大潜力。现在，让我们一起探索ViT的魅力，理解其工作原理，并发现它在...
Vision Transformer（ViT）——图像识别的新篇章
weixin_42136827的博客
09-07 1257
Vision Transformer通过创新性地将Transformer架构应用于图像识别任务，突破了传统CNN的限制。在大规模数据集和强大的计算资源支持下，ViT展示了卓越的性能。尽管仍面临一些挑战，但ViT的出现为计算机视觉领域带来了新的思路和可能性。
ViT(Vision Transformer)+MNIST图像识别
亦梦亦醒乐逍遥的博客
12-15 2814
北京理工大学 人工智能基础大作业 Vision Transformer（ViT）+MNIST
如何理解Diffusion Vision Transformers (DiffiT) 在图像生成任务中结合扩散模型和视觉Transformer的机制？
最新发布
10-30
要深入理解Diffusion Vision Transformers (DiffiT) 如何将扩散模型与视觉Transformer结合起来，首先需要了解扩散模型的基本原理。扩散模型通过模拟物理扩散过程，逐步增加数据中的噪声，然后通过反向过程逐步去除...
Visformer：基于Transformer的视觉模型拟合数据能力研究
589Visformer：视觉友好型Transformer郑苏车n1、凌希希e2、牛建伟1、5、6*、刘雪峰1、龙辉Wei3、齐田41北京航空航天大学、2约翰·霍普金斯大学、3中国科学技术大学、4西安电子科技大学、5北京航空航天大学杭州创新...
Meta AI 发布 data2vec！统一模态的新里程碑！ .pdf
08-12
通过这种方式，data2vec有望开启一个多模态学习的新纪元，进一步推动计算机视觉、语音识别和自然语言处理等领域的进展。随着data2vec的深入研究和应用，我们可以期待更多跨模态的创新应用，如更智能的虚拟助手、更...
Transformer应用之图像识别中的应用 - Transformer教程
weixin_58881595的博客
07-12 444
本文介绍了Transformer模型在图像识别中的应用，包括Vision Transformer、Swin Transformer和DETR等模型，并探讨了其优势、面临的挑战及未来发展方向。Transformer凭借其强大的特征提取和建模能力，正逐渐成为图像识别领域的重要工具。
Vision Transformer(vit)原理分析以及特征可视化
热门推荐
z240626191s的博客
08-29 1万+
Vision Transformer（ViT）是一种基于架构的深度学习模型，用于图像识别和计算机视觉任务。与传统的卷积神经网络（CNN）不同，ViT直接，并利用自注意力机制来处理图像中的像素关系。ViT通过将图像分成一系列的，并。然后，这些向量将通过多层的Transformer编码器进行处理，其中包含了。这样可以。最后，通过对Transformer编码器输出进行分类或回归，可以完成特定的视觉任务。为什么不能直接将transformer直接应用于图像处理中呢？
U-ViT（CVPR2023）——ViT与Difussion Model的结合
weixin_47666981的博客
05-17 4178
扩散模型（Diffusion Model）最近在图像生成领域大火。而在扩散模型中，带有U-Net的卷积神经网络居于统治地位。U-ViT网络是将在图像领域热门的结合应用在了中。本文将从Vision Transformer出发，分析U-ViT这篇CVPR2023的Paper并记录一些感想。
【有啥问啥】ViT（Vision Transformer）简介
Chauvin的博客
07-12 1402
线性投影z0ixpiEz0i​xpi​E位置编码z0ixpiEEposiz0i​xpi​EEposi​自注意力机制AttentionQKVsoftmaxQKTdkVAttentionQKVsoftmaxdk​​QKT​V我们使用的是Kaggle上的皮肤病变分类数据集，该数据集包含各种类型的皮肤病变图像，每个图像都标注了具体的病变类型。我们将使用ViT模型对这些图像进行分类。
视觉Transformer(ViT) ：全面超越CNN，看懂这篇文章就没什么能难倒你了！
09-18 1105
【视觉Transformer】(Vision Transformer, ViT) 是一种革命性的技术，它将Transformer架构应用于视觉识别任务，通过自注意力机制来捕捉图像中的特征关系，显著增强了模型对视觉信息的解析力。这一领域的研究不仅打破了传统卷积神经网络（CNN）在特征提取方面的限制，还为计算机视觉带来了全新的模型设计和更强的表征能力，从而在图像分类、目标检测、语义分割等多个领域实现了性能的飞跃。
HorNet：融合ViT和CNN的优点，实现完全基于卷积结构的高阶空间交互建模
我爱计算机视觉
08-17 1389
关注公众号，发现CV技术之美今天分享一篇来自清华大学和Meta AI的论文"HorNet: Efficient High-Order Spatial Interactions with Recursive Gated Convolutions"。凭借强大的空间建模机制，vision Transformers在多种视觉任务中取得了成功。本文中，作者从空间交互建模的角度发现，vision Transf...
硕士开题材料
滨哥v5的博客
09-11 581
RGB-IR reid
VIT理论代码详解
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
09-07 930
把每个像素点按照顺序拿出来，作为token，这样做的话输入参数规模是：假如是1通道的灰度图： 224x224x1=50176，bert才512，是bert的100倍。
深入解析Transformer与Vision Transformer（ViT）
Vision Transformer（ViT）是一种将Transformer模型应用于计算机视觉任务的方法。ViT的提出旨在证明Transformer模型并非仅限于处理序列数据，它同样能够处理图像数据。ViT的基本思想是将图像分割成多个小块（patches...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值