DeiT小总结

最新推荐文章于 2024-02-28 15:02:21 发布
最新推荐文章于 2024-02-28 15:02:21 发布
阅读量2.2k 收藏 2
点赞数 1
文章标签： 深度学习 计算机视觉 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44743047/article/details/122021621
版权

        ViT成功的将Transformer引入了计算机视觉领域，但是很多人发现ViT复现很是困难，一个就是它需要的计算复杂度很高，8块V100需要训练85天，二就是很不稳定。DeiT就提出了一系列改进来解决这方面的问题，使得ViT真正开始起作用了。

        1.DeiT选取了更好的超参数可以保证模型能够更好的收敛

                                     

 

        2.DeiT做了许多的数据增广可以使得模型能够在更小的数据集上面训练

 

        3.DeiT做了知识蒸馏能够使得ViT进一步的提升性能

用一个已经训练好的techer model来帮助student来进行训练，techer model本身是不参与训练的。 

4.一些小的tips：

 

weixin_44743047
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DeiT详解：知识蒸馏的Transformer
走在深度学习前沿的小宋
05-31 1349
DeiT模型（8600万参数）仅用一台 GPU 服务器在 53 hours train，20 hours finetune，仅使用 ImageNet 就达到了 84.2 top-1 准确性，而无需使用任何外部数据进行训练，性能与最先进的卷积神经网络（CNN）可以抗衡。其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了方法，使得在视觉领域训练得又快又好。
【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention
热门推荐
Slow down, Keep learning and Enjoy life
01-30 2万+
本文主要对Facebook最近提出来的DeiT模型进行阅读分析。 动机：DeiT解决什么问题？ 方法 实验效果 总结 参考资料
DEiT实战：使用DEiT实现图像分类任务（二）
AI浩
12-19 2311
训练的主要步骤：1、使用AverageMeter保存自定义变量，包括loss，ACC1，ACC5。2、判断迭代的数据是否是奇数，由于mixup_fn只能接受偶数，所以如果不是偶数则要减去一位，让其变成偶数。但是有可能最后一次迭代只有一条数据，减去后就变成了0，所以还要判断不能小于2，如果小于2则直接中断本次循环。3、将数据输入mixup_fn生成mixup数据，然后输入model计算loss。4、 optimizer.zero_grad() 梯度清零，把loss关于weight的导数变成0。
DeiT 官方代码简明使用教程
最新发布
一名FPGA芯片设计爱好者的技术博客
02-28 1654
菜鸡一枚，记录下自己的学习过程，可能后续有更新，也可能没有更新，谨慎参考。
deit模型的简单复现
m0_60673947的博客
10-28 1829
一、模型介绍 deit模型研究提出了一种用于视觉任务的 transformer in transformer（TNT）网络结构。TNT 将图像均匀分割为图像块序列，并将每个图像块视为像素序列。本文还提出了一种 TNT block，其中外 transformer block 用于处理 patch embedding，内 transformer block 用于建模像素嵌入之间的关系。在线性层投影后，将像素嵌入信息加入到图像块嵌入向量中。通过堆叠 TNT block，构建全新 TNT 架构。与传统的视觉 ..
第十四章 原理篇：DEIT
小闹钟的机器学习时间
07-06 391
简要介绍DEIT的原理和代码实现。
de4dot DLL去壳.rar
05-21
总结来说，De4dot是.NET环境下的DLL去壳工具，它通过解析和恢复混淆的IL代码，帮助开发者和逆向工程师揭示隐藏在混淆层下的程序逻辑。掌握De4dot的使用技巧，对于提升在软件安全和逆向工程领域的专业能力具有显著...
Marquis De Sade
10-24
总结来说，"Marquis De Sade"字体是一种与历史文化紧密相连的视觉元素，它的设计和使用不仅关乎美学，还涉及版权和合规性。在IT行业中，理解和正确使用各种字体是提升设计质量和尊重知识产权的重要一环。
rang-de
03-28
总结起来，"rang-de"和"欢庆的模因"结合了文化元素与数字媒体的传播特性，而"rang-de-main"则揭示了软件开发的内部结构。从这个压缩包中，我们可以学习到如何构建和组织一个项目，以及如何利用模因作为有效的在线...
图片：Imagens de Fundo
02-09
总结来说，"Imagens de Fundo"涉及到的IT知识点包括图像基础知识（位图和矢量图），图像格式（如JPEG、PNG和GIF），背景图像在设计中的应用，以及如何使用CSS进行背景图像的设置。理解并掌握这些知识点对于从事图形...
partage_de_liens
06-01
总结来说，"partage_de_liens"项目是一个使用HTML构建的链接分享平台，通过`<a>`标签创建链接，结合其他HTML元素组织信息，提供了一个方便用户查找和访问培训资源的环境。了解并熟练运用HTML，对于任何希望创建网页...
DeiT论文精读
qq_52053775的博客
10-12 1351
论文地址：https://arxiv.org/abs/2012.12877v2 transformer需要使用大型基础设施对数亿张图像进行了预训练，从而限制了它们的使用。 在这项工作中，作者只在图像上训练transformer。在一台电脑上训练他们不到3天。基于vision transformer（86M参数）在没有外部数据的情况下，在ImageNet上达到了83.1%。 更重要的是，作者引入了一种专门针对transformer的teacher-student策略。它依赖于一个蒸
DEiT实战：使用DEiT实现图像分类任务（一）
m0_47867638的博客
06-13 9635
DEiT是FaceBook在2020年提出的一篇Transformer模型。该模型解决了Transformer难以训练的问题，三天内使用4块GPU，完成了ImageNet的训练，并且没有使用外部数据，达到了SOTA水平。DEiT提出的蒸馏策略只增加了对token的蒸馏，没有引入其他的重要架构。如下图：蒸馏令牌与类令牌的使用类似:它通过自注意力与其他令牌交互，并在最后一层后由网络输出。蒸馏令牌允许模型从老师的输出中学习，就像在常规蒸馏中一样，同时与类令牌保持互补。
3. deit——Training data-efficient image transformers & distillation through
易大飞
11-15 3001
deit是vit的改进，使用的网络框架基本一致。 主要参考：ViT和DeiT的原理与使用 - 知乎 参考：DeiT：使用Attention蒸馏Transformer 知识蒸馏中的教师网络，可以使用其他非transformer形式的网络结构，比如卷积网络（resnet，efficientnet）等。 个人总结： deit和vit形式一直，在网路结构中多了一个distillation token，类似于class token的形式。 distillation toke
知识蒸馏DEiT算法实战：使用RegNet蒸馏DEiT模型
AI浩
12-23 1888
论文翻译： DEiT通过引入一个蒸馏token实现蒸馏，蒸馏的方式有两种：这篇文章就是从第二点入手，使用卷积神经网络蒸馏DEiT。 讲解视频：https://www.zhihu.com/zvideo/1588881049425276928先把结论说了吧！ Teacher网络使用RegNet的regnetx_160网络，Student网络使用DEiT的deit_tiny_distilled_patch16_224模型。如下表 data：数据集，分为train和val。 models：存放模型文件。 losse
【图像分类】2021-DeiT
wujing1_1的博客
08-04 1058
存在的问题ViT需要大量的GPU资源:ViT-L “~8卡85天”ViT的预训练数据集JFT-300M没有公开超参数设置不好很容易Train不出效果对于VIT训练数据巨大，超参数难设置导致训练效果不好的问题，提出了DeiT。DeiT的模型和VIT的模型几乎是相同的，可以理解为本质上是在训一个VIT。针对ViT难训练的问题，DeiT提出参数设置、数据增强、知识蒸馏来更有效地训练ViT。DeiT提出的训练方法成为后续ViT模型的训练标注。......
ViT and DeiT
soulesstitan的博客
01-08 2062
简介   在nlp方面，transformer已经成为了标配。但是在cv方向，transformer的应用仍然是受限的。通常人们只是利用transformer来辅助cnn网络。这篇文章就完全抛弃了cnn，单纯地使用transformer也能够处理分类任务。 贡献 证明了单纯地使用transformer是work的。 使用大量的数据训练transformer，将精度做到了SOTA。 pretrain model的开源 CNN vs Transformer   CNN是一种分层（hierarchical）的
[转载]Linux下TC使用说明
wtsusheng的专栏
12-15 1330
一、TC原理介绍 Linux操作系统中的流量控制器TC（Traffic Control）用于Linux内核的流量控制，主要是通过在输出端口处建立一个队列来实现流量控制。 Linux流量控制的基本原理如下图所示。 [img]http://dl.iteye.com/upload/attachment/368610/244035e7-de5d-3e58-a71f-5a86b94d699e...
DeiT visiontransformer区别
09-04
DeiT (Data-efficient Image Transformers) 是一种用于图像分类任务的视觉Transformer模型，它是基于Vision Transformer (ViT) 的改进版本。这两种模型的主要区别在于数据效率和模型大小。 1. 数据效率：DeiT旨在提高数据效率，通过引入Distillation（蒸馏）技术，将更大的模型（如ViT）的知识传递给更小的模型。通过这种蒸馏方法，DeiT可以在仅使用少量标注数据的情况下达到与ViT相当的性能。 2. 模型大小：DeiT相对于ViT具有更小的参数数量和模型大小。这是通过应用深度可分离卷积和减少通道维度来实现的。这使得DeiT在计算和内存开销方面更具可扩展性。 总之，DeiT是对Vision Transformer进行改进以提高数据效率和降低模型大小的一种方法。它通过蒸馏技术将更大的模型的知识传递给更小的模型，从而在图像分类任务中取得了良好的性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值