深度学习论文: Emerging Properties in Self-Supervised Vision Transformers

已于 2024-06-05 15:04:29 修改
阅读量1.2k 收藏 29
点赞数 18
分类专栏： Paper Reading Deep Learning AIGC 文章标签： 深度学习 人工智能
于 2024-06-05 15:04:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shanglianlm/article/details/139472868
版权

深度学习论文: Emerging Properties in Self-Supervised Vision Transformers
Emerging Properties in Self-Supervised Vision Transformers
PDF: https://arxiv.org/pdf/2104.14294v1
PyTorch代码: https://github.com/shanglianlm0525/CvPytorch
PyTorch代码: https://github.com/shanglianlm0525/PyTorch-Networks

1 概述

本文探讨自监督学习是否为Vision Transformer（ViT）带来了相较于卷积网络的新特性。发现自监督ViT特征包含明确的图像语义分割信息，并展现出色的k-NN分类性能。同时，强调了动量编码器、多裁剪训练及小补丁在ViT中的重要性。基于这些发现，提出了DINO这一无标签自蒸馏方法，与ViT结合在ImageNet上实现了80.1%的top-1准确率。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
自监督学习(Self-Supervised Learning)
AI天才研究院
07-12 798
自监督学习(Self-Supervised Learning) Self-Supervised Learning. 自监督学习(Self-Supervised Learning)是一种无监督表示学习方法，
（DINO） Emerging Properties in Self-Supervised Vision Transformers——自监督ViT的新属性和几点思考
MengYa_Dream的博客
10-17 4377
（DINO） Emerging Properties in Self-Supervised Vision Transformers——自监督ViT的新属性 Self-distillation with no labels 、student-teacher network 概念、知识蒸馏
Emerging Properties in Self-Supervised Vision Transformers(2021)
studyeboy的专栏
06-11 5276
[paper] Emerging Properties in Self-Supervised Vision Transformers [code] facebookresearch/dino 摘要 在本文中，我们质疑自我监督学习是否为视觉变压器（ViT）[18]提供了与卷积网络（convnets）相比脱颖而出的新属性。除了使自我监督方法适应这种体系结构特别有效的事实之外，我们还做出以下观察：首先，自我监督的ViT功能包含有关图像语义分割的明确信息，而对于监督的ViT来说，这显然不明显， 也没有卷积网。其次
【自监督论文阅读笔记】Emerging Properties in Self-Supervised Vision Transformers
YoooooL_的博客
02-27 6151
在本文中，我们质疑自监督学习是否为 Vision Transformer (ViT) [16] 提供了与卷积网络 (convnets) 相比突出的新属性。除了使自监督方法适应这种架构的效果特别好之外，我们还进行了以下观察：首先，自监督的 ViT 特征包含关于图像语义分割的显式信息，这在有监督的 ViTs 和卷积网络中都没有那么明显。其次，这些特征也是优秀的 k-NN 分类器，在 ImageNet 上以小 ViT 达到 78.3% top-1。我们的研究还强调了动量编码器[26]、
【算法学习、超详细】DINO用于视觉自监督学习的知识蒸馏算法——Emerging Properties in Self-Supervised Vision Transformers
qq_50001789的博客
02-21 2780
论文题目：《Emerging Properties in Self-Supervised Vision Transformers》| 作者利用知识蒸馏和动量更新策略实现了ViT模型在视觉任务上的自监督训练，通过摆脱标签的约束，充分挖掘了ViT算法的特征表示潜力。利用自监督学习的ViT特征明确包含了场景布局，特别是对象边界，这些关注区域可以在最后一个自注意力关注模块中直接提取，同时，自监督ViT网络所提取的特征在基本近邻分类器k-NN下表现特别好，无需任何微调就可以在ImageNet上达到78.3%的准确率。
Emerging Properties in Self-Supervised Vision Transformers学习笔记
Bai__Yang_的博客
12-20 1243
在本文中，我们质疑自监督学习是否为ViT提供了与卷积网络相比突出的新特性。 除了将自监督方法适应于这种架构特别有效的事实之外，我们还进行了以下观察:首先，自监督ViT特征包含关于图像语义分割的明确信息，这在监督ViT和卷积网络中都没有清晰地出现。 我们的研究还强调了momentum encoder[33]、multi-crop learning[10]以及使用small patches of ViTs的重要性。我们将我们的发现应用到一种简单的自我监督方法中，称为DINO。
Emerging Properties in Self-Supervised Vision Transformers.pdf
最新发布
12-31
随着深度学习技术的飞速发展，尤其是在图像识别和自然语言处理领域，Transformer模型因其在自监督学习方面的优异表现而备受瞩目。本文重点研究了自监督学习在视觉Transformer（Vision Transformer, ViT）中的新兴...
emerging properties in self-supervised vision transformers
03-16
自监督视觉变换器中的新兴属性是指在训练过程中，模型可以自主地学习到一些高级特征，这些特征在传统的监督学习中很难被发现。这些新兴属性可以帮助模型更好地理解图像，并提高其在各种视觉任务中的性能。例如，自...
DINO Emerging Properties in Self-Supervised Vision Transformers 论文阅读
Mi_Hao_YOUNG的博客
08-22 2274
Emerging Properties in Self-Supervised Vision Transformers阅读笔记 介绍 论文作者提出了一种新的自监督学习方法，self-distillation with no labels（DINO）。并将其应用在了CNN和Vision Transformer(ViT)结构上，均取得了不错的效果，且ViT的效果还要优于CNN。 特点 self-supervised ViT的feature包含了图片的语义分割的明确信息，如场景布局（scene layout），对
视觉大模型：DINO-Emerging Properties in Self-Supervised Vision Transformers论文读后感
stranger61的博客
05-23 470
MoCo系列，提出了momentum encode思想，作为二者的中间状态，V1核心思想，V2加了点SimCLR的优化点，V3移植到了ViT模型并主要在优化自监督的ViT训练时不稳定的问题(训练中acc发生dip)，采用的是冻结第一层的思路，因为发现dip是第一层梯度暴涨并逐渐传播后导致的。DINO，借鉴了MoCo系列的momentum encode思想，同时借鉴了知识蒸馏的思路，希望让ViT中基于无监督训练先获得足够多的认知，避免直接监督信号后被快速积压到监督目标任务而无法积累全局性基础理解能力。
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 1万+
DINO系列学习总结
自监督学习经典之作:DINO
m0_63642362的博客
09-04 7865
Emerging Properties in Self-Supervised Vision Transformers论文复现
自监督DINO论文笔记
hello_dear_you的博客
10-09 4865
Facebook提出的自监督视觉大模型DINO
无监督学习、自监督学习之间的区别和联系？以及为什么要在Vision Transformer自监督学习？
热门推荐
Drug discovery
12-13 2万+
任何接触过机器学习的人都肯定听说过监督学习和无监督学习。这些实际上是机器学习的两种重要的可能方法，已被广泛使用多年。然而，直到最近，一个新术语“自我监督学习”出现了爆炸式增长！但是让我们一步一步来，一一看看各种方法，试图找到与人脑的类比。 监督学习就像“基于标记示例的学习”。该模型使用标记数据进行训练，因此它们已被仔细标记，使每个示例都与特定类别相关联。通过研究每个类的各种示例的特征，该模型学会了泛化，甚至能够对它从未见过的数据进行分类。为了应用这种方法，因此需要标记良好的数据，但并不总是可用的，并且该.
DINO 自监督算法简介
qq_39845931的博客
11-30 7132
Emerging Properties in Self-Supervised Vision Transformers [Ref: https://arxiv.org/abs/2104.14294] DINO 的初衷是质疑自监督学习相较于 CNN 是否为 Transformer(ViT) 提供了新的属性，但是在过程中，发现： 自监督 ViT 的特征在图像的语义分割中包含的显式信息，这是之前监督学习下无论 ViT 还是 CNN 都没有出现的情况。 这个架构用一个很小的 ViT 提取出来的特征用 k-NN 来对
ICCV 2021 | 当Transformer遇见自监督学习！Facebook重磅开源DINO
阿木寺的博客
07-31 2661
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：Smarter目前 Amusi 已看到 ICCV 2021上的两篇Self-Supervised和Trans...
无监督目标检测、显著度检测（简介）：Unsupervised Object Discovery using Normalized Cut
u014546828的博客
06-09 5170
本文提出了一个简单但有效的基于图的无监督目标检测方法，TokenCut。
对比学习&Transformer论文清单
huitailangyz的博客
01-30 1688
终终终终于放假了= = 寒假可以看点自己感兴趣的论文了，今年大火的对比学习和一些Transformer相关的论文一直存着没看 列个论文清单，有空的话慢慢看过去 Contrastive Learning 综述 A Survey on Contrastive Self-supervised Learning【20.11】 具体方法 A Simple Framework for Contrastive Learning of Visual Representations(SimCLR)【ICML2020
CVPR 2021 An Empirical Study of Training Self-Supervised Visual Transformers
smile909的博客
04-12 1621
动机 transformer是一种有效的工具。 transformer最初是为机器翻译而引入的，后来成为NLP的主干。由于语言的非局部性、关系自然性，这种长时的、自注意力的行为使transformer成为一种有效的工具。 最近关于视觉transformer（ViT）的工作极大地推动了这一前沿。 ViT纯粹是基于transformer的，而不是与非退化（即non-1×1）的卷积交织在一起的。本论文认为简单地比较自注意力和“卷积”是不精确的。根据定义，卷积有几个性质：权重共享，局部连接，平移同变性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mingo_敏

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值