对DeiT中dist_token的理解

已于 2024-02-02 15:41:53 修改
阅读量111 收藏
点赞数 2
文章标签： 深度学习 人工智能
于 2023-09-28 19:21:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37706246/article/details/133151142
版权
  1. Pretrain
    DeiT中使用CNN蒸馏vit
    如下图所示,不同与以往采用feacher或logits,文中首先初始化一个可学习的dist_token，与class_token类似，拼接在一起，即[class_token, dist_token, patch_emb]共同送入vit中
    loss计算分为两部分
    • CE loss
      输出的cls_token与真实标签
    • Lteacher
      输出的dist_token与CNN输出的软标签，来自teacher的监督信息
      在这里插=10x入图片描述
  2. Finetune
    进行下游任务微调时，如分类，使用两个head，cls_token与dist_token对应各自的head，将head输出的平均，即为输出的分类结果
Dolly_DL
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Facebook提出DeiT：通过注意力来训练数据高效的图像Transformer和蒸馏
阿木寺的博客
12-24 3593
本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！ 注：文末附【Transformer】学习交流群 Training data-efficient image transformers & distillation through attention 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一 代码（不到一天，已经近200 star
全网最强ViT (Vision Transformer)原理及代码解析
fulva的专栏
10-30 2万+
今天我们来详细了解一下Vision Transformer。基于timm的代码。 1. Patch Embedding Transformer原本是用来做NLP的工作的，所以ViT的首要任务是将图转换成词的结构，这里采取的方法是如上图左下角所示，将图片分割成小块，每个小块就相当于句子里的一个词。这里把每个小块称作Patch，而Patch Embedding就是把每个Patch再经过一个全连接网络压缩成一定维度的向量。 这里是VisionTransformer源代码中关于Patch Em...
CV攻城狮入门VIT(vision transformer)之旅——VIT代码实战篇
秃头小苏的博客
12-04 4546
​​  在上一篇，我们已经介绍了VIT的原理，是不是发现还挺简单的呢！对VIT原理不清楚的请点击☞☞☞了解详细。🌿🌿🌿那么这篇我将带大家一起来看看VIT的代码，主要为大家介绍VIT模型的搭建过程，也会简要的说说训练过程。​​  这篇VIT的模型是用于物体分类的，我们选择的例子是花的五分类问题。关于花的分类，我之前也有详细的介绍，是用卷积神经网络实现的，不清楚可以点击下列链接了解详情：基于pytorch搭建AlexNet神经网络用于花类识别 🍁🍁🍁基于pytorch搭建VGGNet神经网络用于花类
DEiT实战：使用DEiT实现图像分类任务（一）
AI浩
12-15 2497
DEiT是FaceBook在2020年提出的一篇Transformer模型。该模型解决了Transformer难以训练的问题，三天内使用4块GPU，完成了ImageNet的训练，并且没有使用外部数据，达到了SOTA水平。DEiT提出的蒸馏策略只增加了对token的蒸馏，没有引入其他的重要架构。如下图：蒸馏令牌与类令牌的使用类似:它通过自注意力与其他嵌入交互，并在最后一层后由网络输出。蒸馏令牌允许模型从老师的输出中学习，就像在常规蒸馏中一样，同时与类令牌保持互补。
Transformer主干网络——DeiT保姆级解析
qq_37668436的博客
02-11 5874
前言 这篇文章是基于蒸馏的方法，提高ViT的性能，根据最近transformer相关文章的实验对比以及引用可以发现，这篇文章基本上是ViT以后出现的比较早的文章了。 出发点 在之前的博文Transformer主干网络——ViT保姆级解析中总结了一下ViT留下的坑，本文是从ViT的留下的第五个坑下手的: ViT需要现在JFT-300M大型数据集上预训练，然后在ImageNet-1K上训练才能得到出色的结果，这借助了额外的数据。 个人认为这也是留下的一个比较难或者说比较没有解决方向的坑，本文作者主要是通过蒸
【超详细】初学者包会的Vision Transformer（ViT）的PyTorch实现代码学习
CHENCHENCHEN0526的博客
11-14 2万+
本文参考了b站up霹雳吧啦Wz的视频稿件，图片均为该视频截图。 代码来源timm库（PyTorchImageModels，简称timm）是一个巨大的PyTorch代码集合，已经被官方使用了。 放一些链接：作者的GitHub主页，timm库链接，作者写的官方指南，以及一个非官方的推荐文章。 模型示意图（Base16为例） PatchEmbed模块 class PatchEmbed(nn.Module): """ 2D Image to Patch Embedding """ def
sw_dist.rar_dist matlab_matlab中dist_sw_dist matlab_两点之间距离_经纬度
07-14
"sw_dist.rar_dist matlab_matlab中dist_sw_dist matlab_两点之间距离_经纬度"这个标题揭示了我们讨论的主题，即使用MATLAB来计算基于经纬度的两点之间的距离。"dist_matlab"、"sw_dist_matlab"、"两点之间距离"和...
FPGA_program.rar_RTlab_Xilinx_fpga的PROGRAM_fpga的dist_mem_gen_svp
07-14
"dist_mem_gen_svp"是Xilinx提供的一个工具或IP核，全称为分布式内存生成器（Distributed Memory Generator）。这个工具主要用于创建FPGA内部的分布式RAM，它可以根据用户的需求定制大小、访问模式、数据宽度等参数...
dist_dist_zip_
10-02
标题中的"dist_dist_zip_"可能是指一个用于分发和打包资源的工具，它与ZIP压缩格式有关。在IT行业中，"dist"通常指的是软件的发行版或者分发版本，而"zip"则代表了常见的文件压缩格式。描述中的"resource unpacking ...
dist_rar_dist_
09-29
标题 "dist_rar_dist_" 暗示这是一个与软件分发相关的RAR压缩文件，其中可能包含用于部署或分发的应用程序或资源。描述中的 "dist.rar with infos in rar file" 提示该RAR文件不仅有软件组件，还可能含有与分发相关...
flink-dist_2.11-1.11.3.jar
03-02
flink环境集合包，1.11版本
【pytorch】Vision Transformer实现图像分类+可视化+训练数据保存
热门推荐
Leon的博客
04-30 2万+
一、Vision Transformer介绍 Transformer的核心是 “自注意力” 机制。 论文地址：https://arxiv.org/pdf/2010.11929.pdf 自注意力（self-attention）相比 卷积神经网络 和 循环神经网络 同时具有并行计算和最短的最大路径⻓度这两个优势。因此，使用自注意力来设计深度架构是很有吸引力的。对比之前仍然依赖循环神经网络实现输入表示的自注意力模型 [Cheng et al., 2016,Lin et al., 2017b, Paulus
GCN-LSTM实现时空预测
weixin_44992737的博客
07-10 518
GCN-LSTM实现交通流量预测,时空预测,
基于深度学习的点云降噪
weixin_42605076的博客
07-10 1375
基于深度学习的点云降噪是一种利用深度学习模型处理三维点云数据，以去除噪声并恢复点云的原始形状和细节的方法。点云数据广泛应用于自动驾驶、机器人导航、3D扫描和虚拟现实（VR）等领域，因此高质量的点云数据处理至关重要。
Transformer-LSTM分类 | Matlab实现Transformer-LSTM多特征分类预测/故障诊断
关注并私信文章链接，获取对应文章源码和数据，机器学习之心的博客。
07-10 820
Transformer-LSTM分类 | Matlab实现Transformer-LSTM多特征分类预测/故障诊断
【深度学习】图形模型基础(6)：模型优化理论
MUKAMO的博客
07-10 918
模型优化理论关注提升模型性能、准确性和效率。SGD（随机梯度下降）是其关键算法之一，通过随机选取样本计算梯度并更新模型参数，以提高训练速度和适用性。SGD尤其适合大规模数据集，但可能因梯度噪声导致收敛波动。改进算法如动量法和自适应学习率算法（如Adam）进一步加速收敛并提升精度。总之，模型优化理论和SGD是机器学习不可或缺的工具，助力提升模型性能，推动深度学习发展。
【人工智能】深度学习：神经网络模型
最新发布
边走、边悟、迟早变好
07-11 1347
神经网络（Neural Network）是一种模拟人脑神经元连接方式的计算模型。其基本组成部分是神经元（Neurons），通过加权连接和激活函数构成复杂的网络结构。神经网络广泛应用于模式识别、分类和回归等领域。
人工智能及深度学习在病理组学中的应用概述｜系列推文·24-07-11
qq_45404805的博客
07-10 1188
首先，小罗会带大家回顾计算机和编程的起源，解释从最初的电子计算器到现代计算机的发展历程，以及高级编程语言如何简化计算机指令的编写。其次，本期推文会深入探讨机器学习的不同类型，包括深度学习、神经网络和其他学习算法，以及它们如何被应用于解决实际问题，特别是在病理学领域。最后，小罗会列举一些AI技术当前面临的挑战，包括算法的单一任务限制、对大量数据集的需求以及计算过程中的能源效率问题……。
深度学习和NLP中的注意力和记忆
gongdiwudu的专栏
07-10 1410
深度学习的最新趋势是注意力机制。在一次采访中，现任 OpenAI 研究总监的 Ilya Sutskever 提到，注意力机制是最令人兴奋的进步之一，而且它们将继续存在。这听起来很令人兴奋。但什么是注意力机制？
self.dist_func = dist_func
06-10
`self.dist_func = dist_func` 是 Python 中类的一个方法，其作用是将输入的 `dist_func` 函数赋值给类的实例属性 `dist_func`。 例如，当我们定义一个类 `Point`，并且有一个方法 `set_dist_func`，其作用是将一个函数作为参数传入，并将该函数赋值给实例属性 `dist_func`，代码如下： ``` class Point: def __init__(self, x, y): self.x = x self.y = y self.dist_func = None def set_dist_func(self, dist_func): self.dist_func = dist_func ``` 在这个例子中，我们定义了一个 `Point` 类，该类有 `x` 和 `y` 两个实例属性，以及一个名为 `set_dist_func` 的方法，该方法将一个函数作为参数传入，并将其赋值给实例属性 `dist_func`。 例如，我们定义一个计算两个点之间欧几里得距离的函数 `euclidean_distance`，然后通过 `set_dist_func` 方法将该函数赋值给一个 `Point` 实例的 `dist_func` 属性，代码如下： ``` import math def euclidean_distance(p1, p2): return math.sqrt((p1.x - p2.x)**2 + (p1.y - p2.y)**2) p1 = Point(0, 0) p2 = Point(3, 4) p1.set_dist_func(euclidean_distance) print(p1.dist_func(p1, p2)) # 输出 5.0 ``` 在这个例子中，我们创建了两个 `Point` 实例 `p1` 和 `p2`，其中 `p1` 的坐标为 `(0, 0)`，`p2` 的坐标为 `(3, 4)`。然后，我们将 `euclidean_distance` 函数通过 `set_dist_func` 方法赋值给 `p1` 实例的 `dist_func` 属性。最后，我们调用 `p1.dist_func(p1, p2)` 方法计算 `p1` 和 `p2` 之间的欧几里得距离，并输出结果 `5.0`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值