ViT 及 ViT和ResNet原理是否一样

最新推荐文章于 2024-04-18 19:10:59 发布
最新推荐文章于 2024-04-18 19:10:59 发布
阅读量2k 收藏 7
点赞数
分类专栏： 多模态 文章标签： transformer 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yaohaishen/article/details/120909092
版权

论文：AN IMAGE IS WORTH 16X16 WORDS TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE

链接：https://arxiv.org/abs/2010.11929

这个论文看下来，有这么几个重点需要去掌握：

  1. 将整张图片转化为多个patches，作为 transformer的序列输入

  2. 输入的时候需要加入位置编码，三种位置编码：一维，二维，相对位置编码，这三种效果没有太大区别；

  3. transformer可以接受CNN的输出作为输入，作为一种transformer的混合结构，区别于VIT这种无卷积结构

  4. 可能是由于缺乏inductive biases，数据集上直接训练的VIT效果一般，需要先在大数据及上做预训练然后在任务数据上做微调才可以达到不错的效果；

  5. VIT的【CLS】可有可无

  6. patches重叠与否区别不是特别大；

1. 简单背景介绍

在CV领域，CNN一直是主流模型；

transformer的最核心的一点就是自注意力机制，把这点借鉴到CV来说，一个最简单的想法就是我把每个像素当做是一个token，然后作为序列输入；

那么就是对每个token之间都做了多头注意力机制；假设我们的图像大小是224 * 224 * 1，那么序列长度就是50176，相当于BERT最大长度的512的100倍左右，这个参数量肯定是不能承受的；

针对这种情况，我们怎么处理呢？这个问题，本质上是去解决随着像素增加，复杂度平方级增长的问题；

一个改进就是将全局的这种注意力机制改为局部的注意力机制，也就是做token周围几个领域tokens之间的注意力机制；

还有一种改进是做稀疏注意力，是对注意力做了改进，本质在缓解transformer模型随着长度的增加，Attention部分所占用的内存和计算呈平方比增加的问题。

这几种改进思路可行，但是实施复杂；

所以一个比较简单的方法，就是将整个图像化整为零，从一整张图片转化为一个个的patch，也就是一个个的小方块；

直接看下面这个图：

图片

其实在这里我想插一句，我之前在对图片元素做自注意力机制的时候，是对CNN提取图片的特征图，然后做attention；只不过，VIT这个模型在追求的一个特点就是完全抛弃掉卷积这个操作

2. 具体细节

2.1 模型架构图

论文中自带的模型架构图已经足够清晰，我直接搬过来，然后一点点去讲一下：

我们通过形状来了解一下数据的流动情况：

首先我们有一张图片，形状为: W*H*C；其中H是高度，W是宽度，C是通道数量；

然后我们把这个图片转化为一个个的pathes，其中每一个patch的形状是 {p}2*C；P是每个patch正方形的边长；

然后可以将多个通道压扁，转化为一个一维形状：{p}2\cdotC ;注意，这里就类似变成了一维数组；

总共有N个patches；

transformer的输入定为维度为D大小的token，那么我们就需要对每个一维数组{p}2\cdotC 做一个linear映射到D维大小；

在transformer的输入中，处理token的embedding，其实还有一个是位置编码，VIT使用的就是简单的一维位置嵌入，映射到D维度就够了；这里论文提了一下，因为原始信息是图片，所以尝试了二维编码，但是没有明显提升；

VIT学习BERT，在最开始加入了CLS符号，用于连接全连接层进行图像的分类。

2.2 位置编码消融实验

还有一点就是位置编码这块，作者做了消融，有四组实验，分别是：

  • 没有位置编码
  • 一维位置编码
  • 二维位置编码
  • 相对位置编码；

在位置编码这里，作者还做了另外三组实验，就是只在最开始输入的时候加入位置编码，在每一层加入位置编码同时各自学习，在每一层加入位置编码同时共享这个位置编码；

实验结果看下面这个图：

图片

从结果来看加入位置编码对结果有较大影响，但是用一维、二维还是相对位置编码并没有太大的差异。

2.3 是否需要加入【CLS】token

VIT模型为了最小限度的改变transformer架构，依旧沿用了bert中的【CLS】中的这个token；但是就像我在最上面说到的，BERT中加入CLS的一个原因是它预训练的时候使用了NSP，CLS的输出可以作为二分类的任务；但是图片这里显然没有第二张图片，所以可以不加如【CLS】token；

在整合图片信息的时候，两种方式，一种是使用【CLS】token，另一种就是对所有tokens的输出做一个平均，简称GAP；实验结果证明，两者可以达到的同样的效果，只不过要控制好学习率；

结果看下面这个图：

 3. 预训练以及下游微调

在上面谈到，VIT在小数据上效果一般，需要做一个预训练再来一个微调，效果还不错；

这个其实不陌生，transformer在文本上也是，小数据不如lstm，bert在大量文本上预训练，学习到了大量的知识，才横扫了NLP；

直接看图吧，绝大部分效果还是不错的：

论文题目:Do Vision Transformers See Like Convolutional Neural Networks?

论文链接:http://arxiv.org/abs/2108.08810

 关于这篇论文的介绍这篇文章《论文解释：Vision Transformers和CNN看到的特征是相同的吗？》解释的挺好，可以跳转查看

参考：

just do it now
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
2020：ViT（Vision Transformer）【将Transformer应用在图像分类的模型】【当拥有足够多的数据进行预训练的时候，ViT的表现就会超过ResNets，反之不如】
u013250861的博客
02-19 2125
ViT作者团队出品，在CNN和Transformer大火的背景下，舍弃了卷积和注意力机制，提出了MLP-Mixer，一个完全基于MLPs的结构，其MLPs有两种类型，分别是和，前者独立作用于image patches（融合通道信息），后者跨image patches作用（融合空间信息）。实验结果表明该结构和SOTA方法同样出色，证明了convolution和attention不是必要操作，如果将其替换为简单的MLP，模型依然可以完美work。
Cassava-Leaf-Disease-Classification:我的第一个kaggle比赛
03-21
木薯叶病分类 目录 我的木薯叶病比赛学习历程。我花了整整3周的时间参加这项比赛。 目标： 对木薯叶上呈现的疾病类型进行分类。有五个不同的标签：木薯细菌枯萎病（CBB），木薯褐斑病（CBSD），木薯绿斑驳病（CGM），木薯花叶病（CMD）和健康。 挑战： 这项比赛有一些挑战。 每个班级之间的分配不平衡。标签3 CMD与其他类别之间存在巨大差异。这可能会对预测产生偏差。因此，必须采用加权损失函数或过采样。 嘈杂的标签。一幅图像中有很多错误标记的图像和多种疾病，可能会影响模型预测。为了解决这个问题，可以实现多种技术，例如标签平滑，混合，剪切混合增强。 我在截止日期前参加了比赛，因此就如何处理嘈杂的标签以及哪种模型在本次比赛中效果最好，进行了很多讨论。大多数竞争对手都采用了Efficientnet和视觉变压器（ViT），因此在尝试其他模型（例如ViT，DeiT，Hybrid Resnet和ViT）
Vision Transformer：ViT网络结构
最新发布
FriendshipTang的博客
04-18 1824
人工智能、深度学习、PyTorch、Vision Transformer
【小实验1】比较ResNet、ViT、SwinTransformer的归纳偏置（然而并没有达到预期结果）
syh的技术记录
11-08 1697
本实验并未获得预期的结果，更多的是当作实验记录。
VIT中特殊class token的一些问题
热门推荐
张齐贤的博客
12-03 1万+
类似于BERT中的[class] token,ViT引入了class token机制，其目的：因为transformer输入为一系列的patch embedding，输出也是同样长的序列patch feature，但是最后要总结为一个类别的判断，简单方法可以用avg pool，把所有的patch feature都考虑算出image feature。但是作者没有用这种方式，而是引入一个类似flag的class token,其输出特征加上一个线性分类器就可以实现分类。其中训练的时候，class token的em
ResNet50 文艺复兴 | ViT 原作者让 ResNet50 精度达到82.8%，完美起飞
人工智能讲师分享前沿技术
05-22 1044
在计算机视觉方面，实现最先进性能的大型模型与实际应用中简单的模型之间的差距越来越大。在本文中，将解决这个问题，并显著地弥补这2种模型之间的差距。 在实证研究中，作者的目标不是一定要提出一种新的方法，而是努力确定一种稳健和有效的配置方案，使最先进的大模型在实践中能够得到应用。本文证明了在正确使用的情况下，知识蒸馏可以在不影响大模型性能的情况下减小它们的规模。作者还发现有某些隐式的设计选择可能会极大地影响蒸馏的有效性。 作者的主要贡献是明确地识别了这些设计选择。作者通过一项全面的实证研究来支持本文的发现，在
【CV】VIT：如何将Transformer更好的应用到CV领域
fengdu78的博客
05-30 504
最近因为在做TRM在多模态视频的分类，会写一些TRM在CV中的应用，今天先来讲一下VIT；论文名称是：AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE这个论文看下来，有这么几个重点需要去掌握：将整张图片转化为多个patches，作为 TRM 的序列输入输入的时候需要加入位置...
T2T-Vit、BotNet、MobileFaceNet、ResNet用于人脸识别训练
04-13
含有T2T-Vit、BotNet、MobileFaceNet、ResNet模型用于人脸识别训练。可参考：https://blog.csdn.net/Bixiwen_liu/article/details/113951973?spm=1001.2014.3001.5501，或，...
ViT-Tinkoff-task
04-13
【ViT-Tinkoff任务】是基于Transformer架构的视觉模型训练和应用的实践项目，主要涉及ViT（Vision Transformer）模型。ViT是由Google的研究人员在2020年提出的一种全新的深度学习模型，它打破了传统卷积神经网络...
图片分类比resnet好的网络.zip
10-21
在图像识别和分类任务中，ResNet（残差网络）是一种非常重要的深度学习模型，由Kaiming He等人在2015年...通过深入理解这些网络的工作原理和优势，开发者可以更好地优化自己的模型，提高图像识别任务的准确性和效率。
猫狗分类数据集 猫狗分类下复现vit对比rensnet50
01-18
在这个场景下，“复现vit对比rensnet50”意味着作者尝试重现两种不同的模型：Vision Transformer (ViT) 和 ResNet-50，并对比它们在猫狗分类任务上的性能。 Vision Transformer是一种新兴的模型架构，它源自自然...
pytorch-image-models:PyTorch图像模型，脚本，预训练权重-ResNet，ResNeXT，EfficientNet，EfficientNetV2，NFNet，视觉转换器，MixNet，MobileNet-V3V2，RegNet，DPN，CSPNet等
05-12
为TResNet，MobileNet-V3，ViT模型添加新的ImageNet-21k权重和微调的权重。 谢谢 添加GhostNet模型和权重。 谢 更新ByoaNet注意模型 改进SA模块的初始化 将基于实验的独立Swin attn模块和swinnet 实验的一致“ 26...
ViT为何引入cls_token
gltangwq的博客
05-24 5428
Vision Transformer在一些任务上超越了CNN，得益于全局信息的聚合。在ViT论文中，作者引入了一个cls_token作为分类特征。 如果没有cls_token，我们使用哪个patch token做分类呢？根据自注意机制，每个patch token一定程度上聚合了全局信息，但是主要是自身特征。ViT论文还使用了所有token取平均的方式，这意味每个patch对预测的贡献相同，似乎不太合理。实际上，这样做的效果基本和引入cls_token差不多。 cls_token的作用 cls_token与
transformer和VIT
vivi_cin的博客
12-12 382
VIT
ResNet50 文艺复兴 | ViT 原作者让 ResNet50 精度达到82.8%
jacke121的专栏
05-15 2157
在计算机视觉方面，实现最先进性能的大型模型与实际应用中简单的模型之间的差距越来越大。在本文中，将解决这个问题，并显著地弥补这2种模型之间的差距。 在实证研究中，作者的目标不是一定要提出一种新的方法，而是努力确定一种稳健和有效的配置方案，使最先进的大模型在实践中能够得到应用。本文证明了在正确使用的情况下，知识蒸馏可以在不影响大模型性能的情况下减小它们的规模。作者还发现有某些隐式的设计选择可能会极大地影响蒸馏的有效性。 作者的主要贡献是明确地识别了这些设计选择。作者通过一项全面的实证研究来支持本文的发...
ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比， 在特征提取上的不同
a14285700的博客
03-13 1548
特征提取：卷积核通过在输入图像（或特征图）上滑动来提取特征。每个卷积核负责从输入数据中提取一种特定类型的特征，例如边缘、颜色变化、纹理等。，这些参数在训练过程中通过反向传播算法进行学习和更新。卷积操作本质上是对卷积核权重和输入图像片段（卷积核覆盖的区域）的元素进行，然后激活函数：卷积操作的输出通常会通过一个非线性激活函数（如ReLU）进行处理，以引入非线性特性，这对于学习复杂的特征和模式是必要的。多个卷积核：CNN层通常包含多个不同的卷积核，每个卷积核都可以捕捉输入数据的不同特征。
ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比
a14285700的博客
03-13 933
ResNet网络卷积视觉网络 和 Vit （Vision Transformer）两种网络对比 1. 卷积神经网络 1.1 特点： 卷积+池化 （位置信息）天然携带，具有感知野, 位置信息在特征图上 最终得到的特征图的像素就是 patch 维度就是卷积核数（在vit是隐藏层) ， ** 卷积核的数量——>高维信息宽 **， （图片数量, 高维长度, 特征图宽, 特征图长） 2. ViT 2.1 Vision Transformer 本身不是用卷积核，没有卷积操作，位置信息，在patch
ViT作者、谷歌大脑研究员翟晓华：大规模视觉表征学习
BAAIBeijing的博客
06-16 1433
智源导读：从2020年，Transformer开始在CV领域大放异彩。ViT（Vision Transformer）是Google在2020年提出的直接将transformer应用在图像分...
ViT论文逐段精读【论文精读】-跟李沐学AI
qq_42014059的博客
04-05 4395
视频链接：ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili ViT：过去一年，CV 最有影响力的工作 推翻了 2012 Alexnet 提出的 CNN 在 CV 的统治地位 有足够多的预训练数据，NLP 的 Transformer 搬运到 CV，效果很好 打破 CV 和 NLP 的壁垒，给 CV、多模态 挖坑 ViT效果有多好？ CV 任务刷榜 paperwithcode网站 霸榜 ImageNet （基于 ViT）和 COCO ,目标检测（Swin Transform...
vit与ResNet那个好？
06-07
ViT（Vision Transformer）和ResNet是两种不同类型的计算机视觉模型，分别应用于不同的领域。 ViT是一种基于Transformer的视觉模型，使用了自注意力机制，将图像划分成一系列的图像块，并在这些块上进行自注意力计算，从而实现对整个图像的编码和特征提取。ViT在某些图像分类和目标检测任务中取得了很好的表现。 ResNet则是一种使用了残差连接的深度神经网络模型，主要用于图像分类、目标检测、语义分割等计算机视觉任务。ResNet在深层网络中有效地解决梯度消失和梯度爆炸的问题，使得模型可以更深地进行训练，并取得更好的性能。 因此，ViT和ResNet是两种不同类型的模型，应用于不同的领域，哪个更好取决于具体的应用场景和任务要求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值