DINO / DINOv2 论文+代码深度解析

已于 2024-05-05 00:03:49 修改
阅读量7.1k 收藏 28
点赞数 20
文章标签： 人工智能 深度学习
于 2024-05-04 16:56:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40849121/article/details/138440225
版权

目录

DINO论文

 Abstract

Introduction

Related work

Approach

Appendix

DINO V2论文

 

DINO论文

链接：https://arxiv.org/pdf/2104.14294

 Abstract

总结贡献点如下:

  1.  发现自监督的ViT可以呈现图像的语义分割信息，这一点在监督ViT和CNN中都没有被发现。（具体可以看下文中的图片示意，but我还不知道可视化的是哪一层）
  2. 上述的语义分割特征在图像类间有良好的区分度（体现在通过一个KNN就可以达到很高的分类准确率，所以用于算图像相似度、以图搜图的话可能是个好的choice）

DINO的名字来自于 self-distillation with no labels （所以我认为读音应该是 /di nəʊ/，如果有其他官方的发音欢迎评论区更正 OHO！）

最低0.47元/天 解锁文章
苏不不
关注
深度学习论文: DINOv2: Learning Robust Visual Features without Supervision
mingo_敏
06-05 1759
提出一种自监督学习方法DINOv2，可在不需要微调的情况下，生成适用于各种图像分布和任务的通用视觉特征,使用精心筛选的大量图像数据进行预训练，并利用自动流程构建数据集以提高稳定性并加速训练。
DINOv2：在没有监督的情况下学习鲁棒的视觉特征
m0_47867638的博客
04-23 706
学习任务无关的预训练表示已经成为自然语言处理(NLP)的标准(Radford等人;Raffel等人，2020;Chowdhery等人，2022;Hoffmann等人，2022;Touvron等人，2023)。人们可以"按原样"使用这些特征，即无需微调，并在下游任务上实现明显优于特定任务模型产生的性能(Brown等人，2020)。这一成功得益于使用前置目标对大量原始文本进行预训练，如无需监督的语言建模(Radford et al.， 2017)或词向量(Devlin et al.， 2018)。
【论文精读】DINOv2
weixin_44934783的博客
02-29 4015
DINOv2
DINOv2: Learning Robust Visual Features without Supervision
最新发布
sanguine__的博客
03-27 1175
DINOv2 是一种训练高性能计算机视觉模型的新方法。DINOv2 提供了强大的性能，并且不需要微调。由于是自监督( self-supervision)，DINOv2 可以从任何图像集合中学习。同时，它还可以学习到当现有方法无法学习的某些特征，例如深度估计。近年来，自然语言处理对大量数据进行模型预训练的突破为计算机视觉中类似的基础模型开辟了道路。这些模型可以通过生成通用的视觉特征来极大地简化任何系统中图像的使用，即在不进行微调的情况下跨图像分布和任务工作的特征。
DINOv2代码学习
qq_51659249的博客
10-13 2063
例如，某些分割任务可能需要结合不同尺度的信息，这时候提取网络中间层的特征图就非常有用。
Dinov2(浅薄理解)
Ethan_Rich的博客
09-25 5122
论文刚出来不久，也没有深入了解，但可以利用dinov2的预训练模型，搭建自己所需的图像分类、分割网络等。本文原创，如有错误请大家指正。
【大模型系列】根据文本检索目标(DINO/DINOv2/GroundingDINO)
kabuto_hui的博客
03-09 1万+
DINO 中最核心的数据采样策略便是图像裁剪，这也是自监督学习领域应用非常广泛的主策略之一。
（论文阅读自用）DINOv2: Learning Robust Visual Features without Supervision
wzk0723的博客
01-21 757
这些模型应生成在任何任务中开箱即用的视觉特征，无论是在图像级别，图像分类和像素级，例如，细分针对这些基础模型的最有希望的努力集中于文本引导的预训练，即，使用文本监督的形式来指导特征的训练（Joulin等人，2016年;例如，在标记的细胞成像上训练机器学习模型是具有挑战性的，因为可以注释细胞的专家数量有限，而且肯定不会达到所需的规模。文章表明，通过构建高质量的图像数据集和改进的自监督学习方法，DINOv2 实现了高效的通用视觉特征学习，并且在多个任务中表现出色。，在多个视觉任务中达到了新的高度。
DINOv、T-Rex、T-Rex2、GLIP、Grounding DINO论文阅读
zzzzry的博客
03-27 1987
效果：视觉提示通用分割、视觉提示参照分割、zero-shot视频对象和部分分割出发点：在视觉领域利用LLMs做上下文提示（in-context prompting）贡献：1）我们是第一个扩展来支持通用视觉任务，如开放集通用分割和检测，并实现与基于文本提示的开放集模型相当的性能。2）我们构建了，一个基于视觉上下文提示的参考分词和通用分词的统一框架。这种统一简化了模型设计，并允许我们的模型同时使用语义标记和未标记的数据，以获得更好的性能。
OmniGlue论文详解（特征匹配）
weixin_45409613的博客
09-15 1866
图像匹配领域不断涌现出新颖的可学习特征匹配技术，其性能在传统基准测试中不断提高。然而，我们的研究表明，尽管有这些优点，它们在现实世界中的应用潜力受到限制，因为它们有限的泛化能力，以新的图像领域。本文首先介绍了OmniGlue，它是第一个以泛化为核心原理设计的可学习图像匹配器。OmniGlue利用来自视觉基础模型的广泛知识来指导特征匹配过程，从而将泛化提升到训练时未发现的领域。此外，我们提出了一种新颖的关键点位置引导注意机制，该机制能够解开空间和外观信息的纠缠，从而增强匹配描述符。
DINO代码分析-自监督学习
weixin_42602974的博客
01-19 3621
DINO自监督学习代码详解
DINO&DINO v2：颠覆自监督视觉特征表示学习
家鸽的代码屋
10-15 1万+
DINO系列学习总结
DINOv2: A Self-supervised Vision Transformer Model
04-28 1499
作者指出：自然语言处理领域近期在大规模数据的模型预训练方面取得的突破为计算机视觉领域的类似基础模型铺平了道路。这些模型可以通过产生通用的视觉特征大大简化任何系统中图像的使用，即在不进行微调的情况下适用于图像分布和任务的特征。这也是本文的中心思想，即可以通过类似的方法来训练模型，生成一些通用的视觉特征，这些特征适用于不同的图像分布和不同的任务，无需进行进一步的微调即可使用。3. 动量更新:学生网络的输出通过带有动量的更新规则不断逼近教师网络的输出,实现自下而上的特征学习过程。动量可以平滑更新并加速学习。
dino&dinov2
hqy的草稿本
06-06 422
第一篇探索 ViT 模型在自监督学习领域的经典代表作。DINO 整体架构基于自蒸馏的范式进行构建，包含一个教师网络和学生网络。其中，学生网络学习从局部补丁预测图像中的全局特征，该补丁受动量教师网络嵌入的交叉熵损失的监督，同时进行居中和锐化以防止模式崩溃。第一个基于图像数据的 SSL 工作，一种用于在大型图像数据集上预训练图像编码器，以获得具有语义的视觉特征。这些特征可用于广泛的视觉任务，无需微调即可获得与有监督模型相当的性能。
自监督ViT与目标检测：从基于ViT的DINO、DINOv2，到最新目标检测器Grounding Dino、DINO-X
结构之法 算法之道
12-21 8480
前言之所以关注到DINOV2，原因在于我解读的多个具身机器人模型的视觉基座都用的它，比如不过，实话讲，DINO论文的可读性是真的不高，使得本次解读不易..总之，本文目前只是个初稿，后面还得花不少时间反复优化。
全网最详细的 DINOv2 论文解读来啦！
热门推荐
专注计算机视觉全栈知识分享
04-22 2万+
本文介绍了第一个基于图像数据的 SSL 工作——DINOv2，这是一种用于在大型图像数据集上预训练图像编码器，以获得具有语义的视觉特征。这些特征可用于广泛的视觉任务，无需微调即可获得与有监督模型相当的性能。该方法的关键是基于精心设计的数据流管道构建大规模的图像数据集，以及一些技术改进，如 Stochastic Weight Averaging、Efficient Stochastic Depth和Fully-Sharded Data Parallel等。
【计算机视觉】DINOv2（视觉大模型）代码使用和测试（完整的源代码）
wzk4869的博客
07-19 1万+
【计算机视觉】DINOv2（视觉大模型）代码使用和测试（完整的源代码）
Self-Supervised Vision Transformers with DINO-代码研读
MengYa_Dream的博客
11-22 3387
Code，仅作学习交流 1 main_dino.py import 机制可以导入我们需要使用的库，避免代码重复 pytorch框架下常用的torchvisiongongjuk from torchvision import transforms import argparse import os import sys import datetime import time import math import json from pathlib import Path import .
DINO代码学习笔记（三）
athrunsunny的博客
06-05 3034
2、对生成的proposals进行有效性判断，将proposals的值转换为logistic函数的逆运算，并将mask为True的填充位置和无效的proposals位置的元素填充为无穷大。对output_proposals进行有效性判断，即判断output_proposals的值是否在(0.01, 0.99)的范围内，并生成一个形状为[N, 9350, 1]的布尔张量。3、处理记忆部分，将mask为True的填充位置的元素填充为0，并将无效的proposals位置的元素填充为0。之前的参数处理给捋了一遍。
chrome://dino/让恐龙无敌的代码
08-09
要让Chrome中的恐龙角色成为无敌的代码，您可以按照以下步骤进行操作： 1. 打开Chrome浏览器，并在地址栏中输入“chrome://dino/”，访问Chrome的离线游戏界面。 2. 单击键盘上的空格键，开始游戏。 3. 打开开发者工具。您可以按下F12键，并选择“控制台”选项卡。 4. 在控制台中，输入以下代码： ```javascript var originalGameInstance = Runner.instance_; // 使恐龙无敌 Object.defineProperty(Runner.prototype, 'gameOver', { get: function() { return false; }, set: function() {} }); // 隐藏分数面板 originalGameInstance.distanceMeter.config.COEFFICIENTS.SCORE_POPUP_COEFFICIENT = 0; // 恐龙最高速度 originalGameInstance.tRex.MAX_SPEED = 100; // 恐龙加速度 originalGameInstance.tRex.config.ACCELERATION = 0.001; // 恐龙重力大小 originalGameInstance.tRex.config.GRAVITY = 0.06; // 恐龙跳跃力度 originalGameInstance.tRex.config.INIITAL_JUMP_VELOCITY = 15; ``` 这段代码将使恐龙角色无敌，并且使一些属性达到最大或最小的值，以增加游戏难度。 5. 按下键盘上的空格键，即可查看无敌的恐龙角色在游戏中奔跑。 请注意，这种方法只适用于Chrome浏览器中的离线游戏界面，并且可能在浏览器更新后不再有效。此代码仅为娱乐目的，不要用于作弊或非法目的。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值