Vision Transformers看到的东西是和卷积神经网络一样的吗？

最新推荐文章于 2024-06-08 09:50:29 发布
最新推荐文章于 2024-06-08 09:50:29 发布
阅读量340 收藏
点赞数
文章标签： 卷积 机器学习 人工智能 计算机视觉 python
原文链接：https://mp.weixin.qq.com/s?__biz=MzIyOTkyOTEzOQ==&mid=2247496581&idx=1&sn=8a00434f20a6bc42be295dd36bde1642&chksm=e8b98a59dfce034f3e9e3066dbd9d8a301a749676994387b1059a88784608d2d8fd7f0baf2e8&scene=126&&sessionid=0
版权

来源：AI公园

作者：Mengliu Zhao

编译：ronghuaiyang

导读

这是对论文《Do Vision Transformers See Like Convolutional Neural Networks》的一篇解读。

5720b299794da197d7f23a73d412a783.jpeg

Vision Transformer (ViT)自发布以来获得了巨大的人气，并显示出了比基于CNN的模型(如ResNet)更大的潜力。但是为什么Vision Transformer比CNN的模型更好呢？最近发表的一篇文章“Do Vision Transformers See Like Convolutional Neural Networks?”指出，ViT的优势来自以下几个方面：

  • ViT不同层的特征更加均匀，而CNN模型不同层的特征呈网格状

  • ViT的低层的注意力包含全局信息，而CNN的性质在低层只关注局部

  • 在ViT的较高层中，跳跃连接在信息传播中发挥突出作用，而ResNet/CNN跳跃连接在较高层中传递的信息较少

  • 此外，数据的规模和全局平均池化的使用都会对ViT的表示产生很大的影响。

16c1ce845aee4fc413509dc17bfd1fee.png

ViT和CNN的主要区别

首先，让我们看看下面的两个架构，ViT和一个典型的CNN模型ResNet50。ResNet50接收整个狗图像，并进行2D卷积，内核大小为7×7，用残差块叠加50层，最后附加一个全局平均池化和一个dense层，将图像分类为“狗”。ViT首先将狗图像分解为16*16个patch，将每个patch视为一个“token”，然后将整个token序列送入transformer编码器，该编码器由多头自注意力块组成，编码器特征随后被发送到MLP层，用于分类“狗”类。

af3c0be3d1dad7c459da8f40b143d546.png

上: ResNet50; 下: ViT

对于两个长度不同的特征向量，很难衡量它们的相似性。因此，作者提出了一种特殊的度量，中心核对齐(CKA)，整个论文中都在使用这个。假设X和Y是m个不同样本的特征矩阵，K=XX^T^, L=YY^T^，则利用Hilbert-Schmidt独立准则(HSIC)的定义，定义CKA如下：

b3d1bd480d3702637e9b41188f79a27d.png

X和Y越相似，CKA值越高。更多的定义细节可以在论文的第3节中找到。

有了CKA的定义，一个自然的问题出现了：ViT和CNN的不同层的特征有多相似？作者表明，模式是相当不同的， ViT在所有层上有一个更统一的特征表示，而CNN/ResNet50在较低和较高的层上有一个网格状的模式。这意味着ResNet50在它的低层和高层之间学习不同的信息。

c1862fe9b953e4a82686818ff1804207.png

左：ViT各层特征对之间的CKA值，右:ResNet50所有层的特性对之间的CKA值。

但是ResNet在其较低层次和较高层次学习的“不同信息”是什么呢？我们知道对于CNN模型，由于卷积核的性质，在较低的层只学习局部信息，在较高的层学习全局信息。所以在不同的层之间有一个网格状的模式就不足为奇了。那么我们不禁要问，ViT怎么？?ViT是否也在其底层学习局部信息？

如果我们进一步观察自注意力头，我们知道每个token会关注所有其他token。每个被关注的token都是一个查询patch，并被分配一个注意力权重。由于两个“token”代表两个图像patch，我们可以计算它们之间的像素距离。通过将像素距离和注意力权重相乘，定义了一个“注意力距离”。较大的注意力距离意味着大多数“远处的patch”具有较大的注意权重——换句话说，大多数注意力是“全局的”。相反，小的注意距离意味着注意力是局部的。

1f24ecf387f7b43c32ba045d1c82b8a3.png

注意力距离的计算

作者进一步研究了ViT中的注意力距离。从下面的结果中，我们可以看到，虽然从较高层(block 22/23，红色高亮显示)的注意力距离主要包含全局信息，但是，即使是较低层(block 0/1，红色高亮显示)仍然包含全局信息。这和CNN的模型完全不同。

84b75aecd1887259d39b1e9a319502af.png

现在我们知道ViT甚至在它的底层也学习全局表示，下一个要问的问题是，这些全局表示会忠实地传播到它的上层吗？如果是这样，是怎么实现的？

作者认为关键是ViT的跳跃连接。对于每个block，在自注意力头和MLP头上都存在跳跃连接。通过将跳跃连接的特征的范数除以通过长分支的特征的范数，作者进一步定义了一个度量：归一化比率(Ratio of norm, RoN)。他们发现了惊人的相变现象，在较低的层次上，分类(CLS)token的RoN值很高，而在较高的层次上则低得多。这种模式与空间token相反，其中RoN在较低的层中较低。

f73e284fa27d91dc5033b6a2b31c2c16.png

归一化比率:|z|/|f(z)|。其中z是通过跳跃连接的特特征。F (z)是经过长分支的特征。

如果他们进一步删除ViT不同层的跳跃连接，那么CKA映射将如下所示。这意味着跳跃连接是使ViT不同层之间的信息流成为可能的主要(如果不是全部的话)机制之一。

004378190849a14fbffc5da054a00d8e.png

除了强大的跳跃连接机制和在较低层次学习全局特征的能力外，作者还进一步研究了ViT在较高层次学习精确位置表示的能力。这种行为与ResNet非常不同，因为全局平均池化可能会模糊位置信息。

此外，作者指出，有限的数据集可能会阻碍ViT在较低层次学习局部表示的能力。相反，更大的数据集特别有助于ViT学习高质量的中间层表示。

6f6636b53b759e823930cf5da3125c60.png

—END—

英文原文：https://mengliuz.medium.com/paper-reading-do-vision-transformers-see-like-convolutional-neural-networks-94d4fdd85ff3

f71f0649f3dcb53c57494c3fd3bf397b.gif

分享

收藏

点赞

在看

494530d1258eb6303827c8c2dc98007d.gif

人工智能与算法学习
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DiffiT- Diffusion Vision Transformers for Image Generation
03-26
不同于传统的卷积神经网络(CNNs)，ViTs利用自注意力机制来处理图像数据，展现了在图像分类和其他视觉任务上的出色性能。 3. **去噪网络**：在扩散模型中，去噪网络负责逐步去除加到输入数据上的噪声，从而恢复原始...
搞懂 Vision Transformer 原理和代码系列
01-19
这个模型由Google的研究者提出，它打破了传统的卷积神经网络（CNN）在图像处理上的主导地位，引入了Transformer架构来处理图像数据。Transformer最早在自然语言处理（NLP）中取得巨大成功，现在已被广泛应用于计算机...
【Transformer】12、Do Vision Transformers See Like Convolutional Neural Networks?
呆呆的猫的博客
11-10 2600
文章目录一、背景二、方法 论文链接：https://arxiv.org/pdf/2108.08810.pdf 一、背景 Transformer 现在在视觉方面取得了超越 CNN 的效果，所以作者就有一个问题：Transformer 是如何处理视觉的相关任务的呢？ 基于此，作者对 ViT 和 CNN 在分类任务上进行了一系列分析，发现两者有着很大的不同。 ViT 在所有层上都有更一致的表达特征，而造成这一现象的原因在于 self-attention，self-attention 能够在浅层就聚合全局特征。
论文解释：Vision Transformers和CNN看到的特征是相同的吗？
deephub
10-12 6637
近年来，Vision Transformer (ViT) 势头强劲。 本文将解释论文《Do Vision Transformers See Like Convolutional Neural Networks?》 (Raghu et al., 2021) 由 Google Research 和 Google Brain 发表，并探讨传统CNN 和 Vision Transformer 之间的区别。 本文摘要 这篇论文有六个关于基于ResNet (He et al., 2016) 的 CNN 网络和 ViT
PyTorch模型比较利器：PyTorch Model Compare
最新发布
gitblog_00043的博客
06-08 866
PyTorch模型比较利器：PyTorch Model Compare 项目地址:https://gitcode.com/AntixK/PyTorch-Model-Compare 在深度学习领域，评估两个神经网络之间的相似性和差异性是至关重要的，无论是为了理解模型的内在工作原理还是进行模型优化。PyTorch Model Compare 是一个微小却强大的工具包，它利用**中心核对齐（Center...
【深度学习】Vision Transformers看到的东西是和卷积神经网络一样的吗？
fengdu78的博客
11-21 106
作者：Mengliu Zhao编译：ronghuaiyang导读这是对论文《DoVisionTransformers See Like Convolutional Neural Networks》的一篇解读。Vision Transformer (ViT)自发布以来获得了巨大的人气，并显示出了比基于CNN的模型(如ResNet)更大的潜力。但是为什么Vision Transformer比CNN...
快速读论文----CKA----Similarity of Neural Network Representations Revisited
weiwei935707936的博客
12-29 3836
摘要： 最近的工作试图通过比较层之间和不同训练模型之间的表示来理解神经网络的行为。我们研究了基于典型相关分析（CCA）的比较神经网络表示的方法。我们证明了CCA属于用于测量多元相似性的统计量家族，但是CCA和任何其他对可逆线性变换不变的统计量都不能测量比数据点数量更高维度表示之间的有意义相似性。我们引入了一个相似性指数来度量代表性相似矩阵之间的关系，并且不受此限制。该相似性指数相当于中心核对齐（CKA），也与CCA密切相关。与CCA不同的是，CKA可以可靠地识别不同初始化训练的网络中表示之间的对应关系。
[CNN]|CNN与Transformer区别
qq_35608277的博客
06-08 5548
论文题目: Do Vision Transformers See Like Convolutional Neural Networks?论文链接: http://arxiv.org/abs/2108.08810Transformer 处理图像时获取的特征是否和之前主流的 CNN 有所区别？基于这样的动机，Google用Centered Kernel Alignment (CKA)对ResNet和ViT的一些关键层进行了检验。首先了解一下CKA这种方法。CKA是Google在2019年提出的，用于衡量神经网络
基于tensorflow2.4.0版本的transformer computer vision 训练数据集是cifar10
03-13
传统上，卷积神经网络（CNNs）是CV任务的核心，但Transformer模型通过自注意力机制提供了一种全新的方式来处理输入序列，无论这些序列是单词还是图像的像素块。在ViT中，图像被分割成固定大小的patches，然后线性...
结合EfficientNet和视觉变换器进行视频假检测_Combining EfficientNet and Vision Tr
02-08
传统的深度学习方法，尤其是卷积神经网络（CNN），已经在深伪检测中发挥了重要作用。然而，随着视觉变换器（Vision Transformers）的出现，研究人员开始探索这些新模型在处理复杂视觉任务上的潜力。 论文"Combining...
vision transformer预训练
12-06
在计算机视觉领域，Transformer模型已经成为一种重要的工具，尤其是Vision Transformer (ViT)的出现，它打破了传统的卷积神经网络(CNN)在图像识别任务中的主导地位。预训练技术在自然语言处理领域取得了显著成功，如...
突破学习的界限：类增量学习中稳定性与可塑性的新探索------CVPR2023论文解读
red_guy的博客
12-02 1732
关于类增量学习方法的评估：作者对现有的类增量学习（CIL）方法进行了评估，发现许多方法过分专注于减轻灾难性遗忘，以至于在初始训练阶段（D0）之后，特征提取器很少学习到任何新概念。引入新算法：基于这一观察，作者引入了两种简单的算法——Exploit和Partial-DER（pDER），旨在改进现有的算法并利用标准CIL评估指标的缺陷。未来研究方向：作者希望他们的发现能促进CIL研究更多地关注于强化特征表示的持续学习。这些结论强调了在类增量学习研究中，特征表示的可塑性和持续学习能力的重要性。
Transformer 眼中世界 Vs. CNN 眼中世界 CKA（Centered Kernel Alignment）方法
taoqick的专栏
12-19 5073
最近帮朋友看毕业 Report，主要对比视觉识别比较前沿的两个模型，ViT（VisionTransformer） 和 EfficientNet. 需要可视化解释一下这两模型对同一任务的不同之处。 EfficientNet 主要组件是 CNN 还好，CNN 在可视化各位大佬都做了，但 ViT 的 Transformer 在图像方面，说实话都不知道可视化哪部分，开头 patch 的转换部分或者 attention map 还行。 刚好看到这篇论文Do Vision Transformers See Li..
Transformer 眼中世界 Vs. CNN 眼中世界
3D视觉工坊
08-31 625
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨Andy来源丨Andy的写作间编辑丨极市平台导读谷歌大脑团队近日的新工作，回答了关于ViTs和CNNs之间差异的核心问题，本文...
ViT对比CNN
Json111的博客
06-30 2280
Vision Transformer（VIT）与传统的卷积神经网络（CNN）相比，在某些情况下可以表现出更强的性能，这是由于以下几个原因：
Transformer 在计算机视觉领域疯狂“内卷”
我爱计算机视觉
06-11 3593
继『Transformer 杀疯了，图像去雨、人脸幻构、风格迁移、语义分割等通通上分』之后，Transformer 在计算机视觉领域继续疯狂“内卷”。 01 CAT: ...
今日arXiv精选：Transformer专题论文推荐
Paper weekly
08-21 459
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。Attentive fine-tuning of Transform...
卷积神经网络参考文献
10-25
根据科技情报大数据挖掘与服务系统平台AMiner从人工智能领域国际顶会/期刊中提取出的“卷积神经网络”相关关键词，筛选推荐了100篇经典必读论文，内容包含CNN在检测/识别/分类/分割/跟踪等领域的理论与实践，并按被引用量进行了排序整理。此外，最新的卷积神经网络分类研究进展也会经常出现在计算机视觉相关的国际学术会议和期刊上，例如CVPR、ICCV、ECCV等会议和TPAMI、IJCV等期刊。以下是一些卷积神经网络的参考文献： 1. "ImageNet Classification with Deep Convolutional Neural Networks" by Alex Krizhevsky, Ilya Sutskever, and Geoffrey Hinton (2012) 2. "Very Deep Convolutional Networks for Large-Scale Image Recognition" by Karen Simonyan and Andrew Zisserman (2015) 3. "Going Deeper with Convolutions" by Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, and Andrew Rabinovich (2015) 4. "Rethinking the Inception Architecture for Computer Vision" by Christian Szegedy, Vincent Vanhoucke, Sergey Ioffe, Jonathon Shlens, and Zbigniew Wojna (2016) 5. "Deep Residual Learning for Image Recognition" by Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun (2016) 6. "Mask R-CNN" by Kaiming He, Georgia Gkioxari, Piotr Dollar, and Ross Girshick (2017) 7. "YOLOv3: An Incremental Improvement" by Joseph Redmon and Ali Farhadi (2018) 8. "EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks" by Mingxing Tan and Quoc V. Le (2019) 9. "Vision Transformers" by Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, and Neil Houlsby (2020) 10. "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows" by Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang, Stephen Lin, and Baining Guo (2021)
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值