Training data-efficient image transformers & distillation through attention

已于 2022-06-09 10:33:43 修改
阅读量261 收藏
点赞数
分类专栏： 论文阅读 文章标签： 深度学习 人工智能 机器学习
于 2022-06-05 21:03:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/The_rice/article/details/125136682
版权

Training data-efficient image transformers & distillation through attention

[论文地址]([2012.12877] Training data-efficient image transformers & distillation through attention (arxiv.org))

代码地址

主要贡献

  1. 通过基于知识蒸馏的师生策略训练了一个纯基于注意力的模型DeiT。通过该方法，在一定程度上改进了ViT需要庞大的数据资源的问题，提高了数据效率
  2. 针对Transformer，本文引入了一种基于distillation token的蒸馏策略，distillation token与class token类似，只是他的主要作用是再现教师估计的标签

Distillation through attention

蒸馏模型

在这里插入图片描述

soft distillation

在这里插入图片描述

其中Zt，Zs分别表示教师模型的logits和学生模型的logits， λ是平衡系数，LCE是交叉熵损失，KL表示KL散度，ψ 是softmax，τ表示蒸馏温度。

hard distillation

在这里插入图片描述

其中yt= argmaxcZt©是教师模型的硬标签。同时，硬币澳签可以通过标签平滑转化为软标签，其中真实标签的概率为1 − ε，ε由剩余类共享。在使用真标签的实验中ε为0.1

distillation token

distillation token与class token 类似，都通过自注意力实现与其他token的交互并在最后一层由网络输出。但class token和distillation token会朝着两个向量收敛，它们的余弦相似度的会在经过更多的层后变得很高，也就是他们的相似性会越来越高。这与它们的旨在产生相似但不相同的目标是一致的。

同时，作者也通过实验证明distillation token不是一个简单的额外class token。通过将distillation token替换为一个额外的class token可以获得一个与class token高度相似的token，但他对分类性能没有任何帮助。

实验

教师模型架构对性能影响

在这里插入图片描述

不同蒸馏策略对性能影响

在这里插入图片描述

模型的准确率和吞吐量性能比较

在这里插入图片描述

不同的蒸馏策略在训练轮次上的性能变化

在这里插入图片描述

歪歪_yy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Facebook提出DeiT：通过注意力来训练数据高效的图像Transformer和蒸馏
阿木寺的博客
12-24 3595
本视觉Transformers（86M参数）在ImageNet上达到83.1％的top-1精度，蒸馏版本高达84.4%！优于ViT、RegNet和ResNet等，代码刚刚开源！ 注：文末附【Transformer】学习交流群 Training data-efficient image transformers & distillation through attention 作者单位：Facebook AI, 索邦大学。注：其中一位也是DETR的作者之一 代码（不到一天，已经近200 star
BEiT: BERT Pre-Training of Image Transformers PPT
08-18
BEiT: BERT Pre-Training of Image Transformers PPT BEiT 是一种基于Transformer的自监督式图像预训练模型，它的提出标志着计算机视觉（CV）领域的BERT时刻的到来。BEiT 模型通过Masked Image Modeling任务，对...
4.一脚踹进ViT——ViT再审视与DeiT的实现
qq_45807235的博客
11-12 913
一脚踹进ViT系列
论文阅读--Training data-efficient image transformers & distillation through attention
最新发布
m0_73202283的博客
04-29 461
教师的预测和真实标签重要性一样。
DeiT翻译【Training data-efficient image transformers & distillation through attention】
weixin_42132032的博客
03-24 1836
Training data-efficient image transformers & distillation through attention 摘要 最近，纯粹基于注意力的神经网络被用于图像理解任务，如图像分类。这些高性能的视觉transformers需要经过数以亿记张图像和大型网络的预先训练，这限制了它们的使用。 在这项工作中，我们只在Imagenet上进行训练，研究出具有竞争力的无卷积结构的transformers。我们使用一台电脑且不到3天的时间就能训练完成。我们的视觉transfor
【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention
热门推荐
Slow down, Keep learning and Enjoy life
01-30 2万+
本文主要对Facebook最近提出来的DeiT模型进行阅读分析。 动机：DeiT解决什么问题？ 方法 实验效果 总结 参考资料
DeiT：Training data-efficient image transformers & distillation through attention
qq_45122568的博客
07-03 3307
这篇文章主要是通过一些训练策略和来提升模型的训练速度和性能效果。原文链接：Training data-efficient image transformers & distillation through attention 源码地址：https://github.com/facebookresearch/deit 写的好的文章：Transformer学习(四)—DeiT 知识蒸馏可以简单看下这篇介绍：知识蒸馏(Knowledge Distillation) 经典之作，论文笔记虽然ViT在分类任务中有着非常
[Transformer] DeiT：Training data-efficient image transformers & distillation through attention
Cherry的笔记本
01-18 866
DeiT：Training data-efficient image transformers & distillation through attention https://arxiv.org/pdf/2012.12877.pdf GitHub - facebookresearch/deit: Official DeiT repository 2020 Dec 现有的基于Transformer的分类模型ViT需要在海量数据上（JFT-300M，3亿张图片）进行预训练，再在ImageN..
DiffiT- Diffusion Vision Transformers for Image Generation
03-26
DiffiT- Diffusion Vision Transformers for Image Generation
convolution-vision-transformers:CvT的PyTorch实现
04-01
CvT：将卷积引入视觉变形金刚 CvT的Pytorch实现 用法： img = torch . ones ([ 1 , 3 , 224 , 224 ]) model = CvT ( 224 , 3 , 1000 ) parameters = filter ( lambda p : p . requires_grad , model ....
hardware-aware-transformers:[ACL 2020] HAT
03-19
title = {HAT: Hardware-Aware Transformers for Efficient Natural Language Processing}, author = {Wang, Hanrui and Wu, Zhanghao and Liu, Zhijian and Cai, Han and Zhu, Ligeng and Gan, Chuang and Han, ...
Python库 | pytorch-fast-transformers-0.3.0.tar.gz
04-14
资源分类：Python库 所属语言：Python 资源全名：pytorch-fast-transformers-0.3.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
深度学习Transformer(五)——Deit Training data efficient image transformers & distilation through attention
goodluckcwl的专栏
07-24 459
Vit一样的结构，现在不需要额外的数据训练了，用数据增强以及CNN作为老师蒸馏。
ICML2021《Training data-efficient image transformers & distillation through attention》
weixin_43994864的博客
03-19 1401
论文链接：http://proceedings.mlr.press/v139/touvron21a/touvron21a.pdf 代码链接： 1. 动机 VIT训练需要消耗大量的计算资源，且训练时间长。此外，当没有充足数据时很难泛化 2. 贡献 作者证明，不包含卷积层的神经网络可以在没有外部数据的情况下，在ImageNet上获得与当前技术水平相比具有竞争力的结果。且它们是在4个gpu的单个节点上学习的，需要3天时间。本文的两个新模型DeiT-S和DeiT-Ti参数更少，可以看作是ResNet-50和Re.
文献阅读：Training data-efficient image transformers & distillation through attention
MRzzyy的博客
06-29 556
Training data-efficient image transformers & distillation through attention 1.四个问题 要解决什么问题 解决Transformer在图像分类问题中对数据集的限制 用什么方法解决 作者提出 DeiT，一种图像 transformers，通过改进训练和蒸馏过程，不需要非常大的数据量来进行训练。 而相比与 EfficientNets 来说，DeiT 只对已有的数据增强和正则化策略进行了优化，除了distillation toke
【论文笔记】Training data-efficient image transformers & distillation through attention(Deit)
OneYearIsEnough的博客
05-25 576
图像分类模型Deit
DeiT：Training data-efficient image transformers & distillation through attention学习笔记
qq_43437453的博客
06-15 248
DeiT 是一个全 Transformer 的架构。其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了 token-based distillation 方法，使得 Transformer 在视觉领域训练得又快又好。
DeIT:Training data-efficient image transformers & distillation through attention论文解读
qq_45041871的博客
02-09 555
在这项工作中，我们只通过在ImageNet上训练产生具有竞争力的无卷积的transformer模型。我们只用了不到三天的时间在一台电脑上训练他们。在没有外部数据的情况下，我们的vision transformer(86M参数)在ImageNet上达到了83.1%(单一模型)的top-1精度。我们提出了一种基于token的蒸馏方式，极大的提升了模型的性能。
Local-to-Global Self-Attention in Vision Transformers
03-29
Vision Transformers (ViT) have shown remarkable performance in various vision tasks, such as image classification and object detection. However, the self-attention mechanism in ViT has a quadratic complexity with respect to the input sequence length, which limits its application to large-scale images. To address this issue, researchers have proposed a novel technique called Local-to-Global Self-Attention (LGSA), which reduces the computational complexity of the self-attention operation in ViT while maintaining its performance. LGSA divides the input image into local patches and performs self-attention within each patch. Then, it aggregates the information from different patches through a global self-attention mechanism. The local self-attention operation only considers the interactions among the pixels within a patch, which significantly reduces the computational complexity. Moreover, the global self-attention mechanism captures the long-range dependencies among the patches and ensures that the model can capture the context information from the entire image. LGSA has been shown to outperform the standard ViT on various image classification benchmarks, including ImageNet and CIFAR-100. Additionally, LGSA can be easily incorporated into existing ViT architectures without introducing significant changes. In summary, LGSA addresses the computational complexity issue of self-attention in ViT, making it more effective for large-scale image recognition tasks.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值