Facebook提出DeiT：通过注意力来训练数据高效的图像Transformer和蒸馏

最新推荐文章于 2024-07-28 22:53:08 发布
最新推荐文章于 2024-07-28 22:53:08 发布
阅读量3.6k 收藏 7
点赞数 2
分类专栏： Transformer 计算机视觉论文速递 backbone 文章标签： 深度学习 人工智能 机器学习 计算机视觉 卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/111658275
版权
Facebook AI的研究提出DeiT，一种在ImageNet上仅用少量数据训练就能达到83.1% top-1精度的视觉Transformer。通过特定的注意力蒸馏策略，学生模型能从卷积教师模型中学习，实现高达84.4%的精度。代码和模型已开源，旨在促进社区研究。
摘要由CSDN通过智能技术生成

本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！

注：文末附【Transformer】学习交流群
在这里插入图片描述
Training data-efficient image transformers & distillation through attention
在这里插入图片描述

  • 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一
  • 代码（不到一天，已经近200 star了）：https://github.com/facebookresearch/deit
  • 论文：https://arxiv.org/abs/2012.12877

最近，显示出纯粹基于注意力的神经网络可解决图像理解任务，例如图像分类。但是，这些视觉transformers使用昂贵的基础架构预先接受了数亿个图像的训练，从而限制了它们在更大的社区中的应用。关于视觉Transformer，推荐看一下这个最新综述：华为等提出视觉Transfor

最低0.47元/天 解锁文章
Amusi（CVer）
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention
Slow down, Keep learning and Enjoy life
01-30 2万+
本文主要对Facebook最近提出来的DeiT模型进行阅读分析。 动机：DeiT解决什么问题？ 方法 实验效果 总结 参考资料
[Transformer] DeiT：Training data-efficient image transformers & distillation through attention
Cherry的笔记本
01-18 899
DeiT：Training data-efficient image transformers & distillation through attention https://arxiv.org/pdf/2012.12877.pdf GitHub - facebookresearch/deit: Official DeiT repository 2020 Dec 现有的基于Transformer的分类模型ViT需要在海量数据上（JFT-300M，3亿张图片）进行预训练，再在ImageN..
DeiT III（Meta）论文解读
最新发布
00000cj的博客
07-28 988
本研究旨在重新审视ViT的监督训练方法，并提出一种基于ResNet-50训练方法的简化版新训练策略。与现有的自动数据增强方法不同，本研究提出了一种简单的数据增强策略，并在图像分类、迁移学习和语义分割任务中进行了评估，结果表明该方法显著优于之前的完全监督训练方法。
Training data-efficient image transformers & distillation through attention
The_rice的博客
06-05 298
Training data-efficient image transformers & distillation through attention
DeiT翻译【Training data-efficient image transformers & distillation through attention】
weixin_42132032的博客
03-24 1857
Training data-efficient image transformers & distillation through attention 摘要 最近，纯粹基于注意力的神经网络被用于图像理解任务，如图像分类。这些高性能的视觉transformers需要经过数以亿记张图像和大型网络的预先训练，这限制了它们的使用。 在这项工作中，我们只在Imagenet上进行训练，研究出具有竞争力的无卷积结构的transformers。我们使用一台电脑且不到3天的时间就能训练完成。我们的视觉transfor
ICML2021《Training data-efficient image transformers & distillation through attention》
weixin_43994864的博客
03-19 1443
论文链接：http://proceedings.mlr.press/v139/touvron21a/touvron21a.pdf 代码链接： 1. 动机 VIT训练需要消耗大量的计算资源，且训练时间长。此外，当没有充足数据时很难泛化 2. 贡献 作者证明，不包含卷积层的神经网络可以在没有外部数据的情况下，在ImageNet上获得与当前技术水平相比具有竞争力的结果。且它们是在4个gpu的单个节点上学习的，需要3天时间。本文的两个新模型DeiT-S和DeiT-Ti参数更少，可以看作是ResNet-50和Re.
DEiT实战：使用DEiT实现图像分类任务.zip
12-15
DEiT是FaceBook在2020年提出的一篇Transformer模型。该模型解决了Transformer难以训练的问题，三天内使用4块GPU，完成了ImageNet的训练，并且没有使用外部数据，达到了SOTA水平。 原文链接：...
DeiT外部蒸馏实现.zip
12-20
DeiT（Data-efficient Image Transformers）是一种在图像分类任务中高效运用Transformer架构的模型，由Facebook AI Research团队提出。该模型的主要目标是降低Transformer在计算机视觉领域应用时对大量标注数据的...
知识蒸馏的Transformer
08-20
针对 ViT 需求数据量大、运算速度慢的问题，Facebook 与索邦大学 Matthieu Cord 教授合作发表 Training data-efficient image transformers（DeiT） & distillation through attention。DeiT 将知识蒸馏的策略与 ViT...
DeiT详解：知识蒸馏的Transformer
走在深度学习前沿的小宋
05-31 1666
DeiT模型（8600万参数）仅用一台 GPU 服务器在 53 hours train，20 hours finetune，仅使用 ImageNet 就达到了 84.2 top-1 准确性，而无需使用任何外部数据进行训练，性能与最先进的卷积神经网络（CNN）可以抗衡。其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了方法，使得在视觉领域训练得又快又好。
DeiT：Training data-efficient image transformers & distillation through attention
qq_45122568的博客
07-03 3339
这篇文章主要是通过一些训练策略和来提升模型的训练速度和性能效果。原文链接：Training data-efficient image transformers & distillation through attention 源码地址：https://github.com/facebookresearch/deit 写的好的文章：Transformer学习(四)—DeiT 知识蒸馏可以简单看下这篇介绍：知识蒸馏(Knowledge Distillation) 经典之作，论文笔记虽然ViT在分类任务中有着非常
论文阅读--Training data-efficient image transformers & distillation through attention
m0_73202283的博客
04-29 479
教师的预测和真实标签重要性一样。
深度学习Transformer(五)——Deit Training data efficient image transformers & distilation through attention
goodluckcwl的专栏
07-24 465
Vit一样的结构，现在不需要额外的数据训练了，用数据增强以及CNN作为老师蒸馏。
【论文笔记】Training data-efficient image transformers & distillation through attention(Deit)
OneYearIsEnough的博客
05-25 600
图像分类模型Deit
DeiT : Training data-efficient image transformers & distillation through attention
qq_47896523的博客
07-28 718
查询向量与一组k个键向量(组合成一个矩阵)使用内积进行匹配。然后用softmax函数对这些内积进行缩放和规范化以获得 k 个权重。注意力的输出是一组 k 个值向量(打包成)的加权和。对于一个包含N个查询向量的序列(封装到中)，它产生一个输出矩阵(大小为N × d):其中Softmax函数应用于输入矩阵的每一行。提供了适当的规格化。为了防止当d较大时，点积结果会非常大，导致softmax函数的梯度变得非常小，从而引发梯度消失问题。缩放因子有助于保持梯度的稳定性。
文献阅读：Training data-efficient image transformers & distillation through attention
MRzzyy的博客
06-29 569
Training data-efficient image transformers & distillation through attention 1.四个问题 要解决什么问题 解决Transformer在图像分类问题中对数据集的限制 用什么方法解决 作者提出 DeiT，一种图像 transformers，通过改进训练和蒸馏过程，不需要非常大的数据量来进行训练。 而相比与 EfficientNets 来说，DeiT 只对已有的数据增强和正则化策略进行了优化，除了distillation toke
DeiT：Training data-efficient image transformers & distillation through attention学习笔记
qq_43437453的博客
06-15 272
DeiT 是一个全 Transformer 的架构。其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了 token-based distillation 方法，使得 Transformer 在视觉领域训练得又快又好。
DeIT:Training data-efficient image transformers & distillation through attention论文解读
qq_45041871的博客
02-09 619
在这项工作中，我们只通过在ImageNet上训练产生具有竞争力的无卷积的transformer模型。我们只用了不到三天的时间在一台电脑上训练他们。在没有外部数据的情况下，我们的vision transformer(86M参数)在ImageNet上达到了83.1%(单一模型)的top-1精度。我们提出了一种基于token的蒸馏方式，极大的提升了模型的性能。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值