[Transformer] DeiT：Training data-efficient image transformers & distillation through attention

已于 2022-01-21 14:31:39 修改
阅读量831 收藏 1
点赞数
分类专栏： Transformer backbone 文章标签： transformer 深度学习 机器学习
于 2022-01-18 20:20:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46746665/article/details/122567758
版权

DeiT：Training data-efficient image transformers & distillation through attention

https://arxiv.org/pdf/2012.12877.pdf

GitHub - facebookresearch/deit: Official DeiT repository

2020 Dec

现有的基于Transformer的分类模型ViT需要在海量数据上（JFT-300M，3亿张图片）进行预训练，再在ImageNet数据集上进行fune-tuning，才能达到与CNN方法相当的性能，这需要非常大量的计算资源，这限制了ViT方法的进一步应用。

Data-efficient image transformers (DeiT) 无需海量预训练数据，只依靠ImageNet数据，便可以达到SOTA的结果，同时依赖的训练资源更少（4 GPUs in three days）。

 

DeiT采用的方法：

1）采用合适的训练策略包括optimizer, data augmentation, regularization等，这一块该文主要是在实验部分介绍；

2）采用蒸馏的方式，结合teacher model来引导基于Transformer的DeiT更好地学习

蒸馏

假设有一个性能很好的分类器（它可以是CNN，也可以是Transformer）作为teacher model。

在ViT的基础上，加上一个distillation token（右下角位置），就是维度+1，然后在self-attention layers中跟class token，patch token不断交互。它跟左下角的class token很像，唯一的区别在于，class token的目标是跟真实的label一致，而distillation token是要跟teacher model预测的label一致。

 

 

蒸馏分两种，一种是软蒸馏，另一种是硬蒸馏。

下式为软蒸馏：zs和zt分别是student model和teacher model的输出，φ表示sotfmax函数，λ和τ是超参数。

硬蒸馏：CE表示交叉熵。

 

软蒸馏是限制student和teacher的模型输出类别分布尽可能接近，而硬蒸馏是限制两种模型输出的类别标签尽可能接近。

训练的时候就用软蒸馏或硬蒸馏的loss进行训练。作者发现一个有趣的现象，class token和distillation token是朝着不同的方向收敛的，对各个layer的这两个token计算余弦相似度，平均值只有0.06，不过随着网络会越来越大，在最后一层是0.93，也就是相似但不相同。作者做了个实验来验证这个确实distillation token有给模型add something。就是简单地增加一个class token来代替distillation token，然后发现，即使对这两个class token进行独立的随机初始化，它们最终会收敛到同一个向量（余弦相似度为0.999），且性能没有明显提升。

 

三种版本的参数设置

DeiT-B是较大的模型，结构与ViT完全相同。DeiT-Ti和DeiT-S是两个较小的模型，区别在于heads数目和embedding dimension不同。

 

teacher的选择

CNN效果更好，这可能是因为transformer可以学到CNN的归纳假设。

CNN是有inductive bias的，例如局部感受野，参数共享等，这些设计比较适应于图像任务，这里将CNN作为teacher，可以通过蒸馏，使得Transformer学习得到CNN的inductive bias，从而提升Transformer对图像任务的处理能力。

m小标表示使用了蒸馏策略的网络模型。

↑384表示student在224*224图像上进行预训练，然后在384*384图像上进行fine-tune。

RegNetY-16GF：《Designing Network Design Spaces》CVPR2020

https://arxiv.org/abs/2003.13678

 

 

distillation效果比较

hard distillation性能比soft distillation更好。

在测试性能的时候，是用class token还是distillation token还是都用呢？在pretrain上测试的时候，两个一起用性能更佳。只用一个的时候，distillation token性能略好于class token这可能是因为distillation token里有更多从CNN中学到的归纳假设。还有一个很有趣的现象是，Transformer的性能比它teacher CNN还好。

 

模型性能对比

 

训练策略

初始化与超参数

Optimizer

AdamW比SGD性能更好。

数据增强

Rand-Augment：

采用与基本数据增广方式相同的一系列方法如：identity、rotate…具体的增广手段如下表所示共K=14种。但本文并非目的是为了让CNN网络学习如何对针对不同的数据集进行增广，而是随机选择数据增广的方式。即随机选择一种手段对原始数据进行变换，并调整它们的大小。

AutoAug：根据特定数据集搜索最优增强方法

Mixup：线性插值，:将随机的两张样本按比例混合，分类的结果按比例分配

CutMix:就是将一部分区域cut掉但不填充0像素而是随机填充训练集中的其他数据的区域像素值，分类结果按一定的比例分配

Transformer的训练需要大量的数据，想要在不太大的数据集上取得好性能，就需要大量的数据增强，以实现data-efficient training。如图9所示，几乎所有评测过的数据增强的方法都能提升性能。

重点采用的数据扩充方式是Rand-Augment, Mixup, CutMix。

Regularization

Repeated Aug：

《Multigrain: a unified image embedding for classes and instances》

《Augment your batch: Improving generalization through instance repeation》

Exp Moving Avg：EMA 滑动平均

采用Random Erasing和Stochastic depth等方式有助于模型的收敛，尤其是采用较深的模型时。

Random Erasing：随机选择一个区域，然后采用随机值进行覆盖。

Stochastic depth: 随机失活一些卷积层，只保留 shortcut 通路的方式随机跳过 一些 Residual Blocks

Cherry_qy
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
sinkhorn-transformer:Sinkhorn变压器-稀疏Sinkhorn注意的实际实现
05-04
灌角变压器 这是对“概述的工作的复制，并进行了其他增强。 它包括一个参数化的排序网络，使用接收器喇叭归一化对与最相关的关键字存储桶与查询存储桶相匹配的排列矩阵进行采样。 这项工作还引入了可逆网络和前馈分块（ 引入的概念），以进一步节省内存。 204k令牌（演示目的） 安装 $ pip install sinkhorn_transformer 用 基于Sinkhorn变压器的语言模型 import torch from sinkhorn_transformer import SinkhornTransformerLM model = SinkhornTransformerLM ( num_tokens = 20000 , dim = 1024 , heads = 8 , depth = 12 , max_seq_len = 8192 ,
tab-transformer-pytorch:在 Pytorch 中实现 TabTransformer，表格数据的注意力网络
05-30
标签转换器 在 Pytorch 中实现 ，表格数据的注意力网络。 这种简单的架构与 GBDT 的性能相差无几。 安装 $ pip install tab-transformer-pytorch 用法 import torch from tab_transformer_pytorch import TabTransformer cont_mean_std = torch . randn ( 10 , 2 ) model = TabTransformer ( categories = ( 10 , 5 , 6 , 5 , 8 ), # tuple containing the number of unique values within each category num_continuous = 10 , # number of co
多层级深度特征融合的乳腺癌图像分类
qq_47896523的博客
03-26 1048
Transformer模型现有的乳腺癌病理图像深度学习分类研究多是依托卷积神经网络（convolutional neural networks，CNN），利用CNN强大特征提取能力来提升乳腺癌病理图像分类精度在研究工作早期，主要是将在大规模自然图像 数据集上的预训练 CNN 模型作为特征提取器来捕获病理图像深度特征，采用传统机器学习模型构造分类器对深度特征分类。其中，ZEROUAOUI等人探索了多个CNN模型和机器学习分类器的结合研究，结果表明使用。
IBR-net：Pytorch中IBRNet的实现，学习基于多视图图像的渲染
03-03
IBR网（WIP） 在实现）。 他们结合了NERF和注意力（射线转换器）进行3d场景表示，并推动网络能够推广到新颖的场景。 引文 @article { wang2021ibrnet , author = { Wang, Qianqian and Wang, Zhicheng and Genova, Kyle and Srinivasan, Pratul and Zhou, Howard and Barron, Jonathan T. and Martin-Brualla, Ricardo and Snavely, Noah and Funkhouser, Thomas } , title = { IBRNet: Learning Multi-View Image-Based Rendering } , journal = { arXiv pre
augment_music:音乐数据扩充实验
05-21
增加音乐 音乐数据扩充实验
point-transformer-pytorch:Pytorch中Point Transformer层的实现
04-12
点变压器-火炬 在Pytorch中实现自注意层。 上面的简单电路似乎允许他们的小组在点云分类和分割方面胜过所有以前的方法。 安装 $ pip install point-transformer-pytorch 用法 import torch from point_transformer_pytorch import PointTransformerLayer attn = PointTransformerLayer ( dim = 128 , pos_mlp_hidden_dim = 64 , attn_mlp_hidden_mult = 4 ) feats = torch . randn ( 1 , 16 , 128 ) pos = torch . randn ( 1 , 16 , 3 ) mask = torch . ones ( 1 , 16 ). bool
【论文阅读】DeiT | Training data-efficient image transformers & distillation through attention
热门推荐
Slow down, Keep learning and Enjoy life
01-30 2万+
本文主要对Facebook最近提出来的DeiT模型进行阅读分析。 动机：DeiT解决什么问题？ 方法 实验效果 总结 参考资料
DeiT：Training data-efficient image transformers & distillation through attention
qq_45122568的博客
07-03 3276
这篇文章主要是通过一些训练策略和来提升模型的训练速度和性能效果。原文链接：Training data-efficient image transformers & distillation through attention 源码地址：https://github.com/facebookresearch/deit 写的好的文章：Transformer学习(四)—DeiT 知识蒸馏可以简单看下这篇介绍：知识蒸馏(Knowledge Distillation) 经典之作，论文笔记虽然ViT在分类任务中有着非常
DeiT翻译【Training data-efficient image transformers & distillation through attention】
weixin_42132032的博客
03-24 1778
Training data-efficient image transformers & distillation through attention 摘要 最近，纯粹基于注意力的神经网络被用于图像理解任务，如图像分类。这些高性能的视觉transformers需要经过数以亿记张图像和大型网络的预先训练，这限制了它们的使用。 在这项工作中，我们只在Imagenet上进行训练，研究出具有竞争力的无卷积结构的transformers。我们使用一台电脑且不到3天的时间就能训练完成。我们的视觉transfor
DeIT:Training data-efficient image transformers & distillation through attention论文解读
qq_45041871的博客
02-09 472
在这项工作中，我们只通过在ImageNet上训练产生具有竞争力的无卷积的transformer模型。我们只用了不到三天的时间在一台电脑上训练他们。在没有外部数据的情况下，我们的vision transformer(86M参数)在ImageNet上达到了83.1%(单一模型)的top-1精度。我们提出了一种基于token的蒸馏方式，极大的提升了模型的性能。
DeiT：Training data-efficient image transformers & distillation through attention学习笔记
qq_43437453的博客
06-15 224
DeiT 是一个全 Transformer 的架构。其核心是提出了针对 ViT 的教师-学生蒸馏训练策略，并提出了 token-based distillation 方法，使得 Transformer 在视觉领域训练得又快又好。
bottleneck-transformer-pytorch:Pytorch中瓶颈变压器的实现
03-06
瓶颈变压器-火炬 在Pytorch中，在性能-计算权衡方面优于EfficientNet和DeiT的卷积（SotA）视觉识别模型的卷积+注意实现 安装 $ pip install bottleneck-transformer-pytorch 用法 import torch from torch import nn from bottleneck_transformer_pytorch import BottleStack layer = BottleStack ( dim = 256 , # channels in fmap_size = 64 , # feature map size dim_out = 2048 , # channels out proj_factor = 4 , #
论文阅读|DeiT
weixin_45782047的博客
02-17 2384
Transformer系列论文阅读|DeiT
论文阅读--Training data-efficient image transformers & distillation through attention
最新发布
m0_73202283的博客
04-29 417
教师的预测和真实标签重要性一样。
ICML2021《Training data-efficient image transformers & distillation through attention》
weixin_43994864的博客
03-19 1352
论文链接：http://proceedings.mlr.press/v139/touvron21a/touvron21a.pdf 代码链接： 1. 动机 VIT训练需要消耗大量的计算资源，且训练时间长。此外，当没有充足数据时很难泛化 2. 贡献 作者证明，不包含卷积层的神经网络可以在没有外部数据的情况下，在ImageNet上获得与当前技术水平相比具有竞争力的结果。且它们是在4个gpu的单个节点上学习的，需要3天时间。本文的两个新模型DeiT-S和DeiT-Ti参数更少，可以看作是ResNet-50和Re.
论文回顾：Batch Augmentation，在批次中进行数据扩充可以减少训练时间并提高泛化能力
deephub
03-26 3291
Batch Augmentation(BA)：提出使用不同的数据增强在同一批次中复制样本实例，通过批次内的增强在达到相同准确性的前提下减少了SGD 更新次数，还可以提高泛化能力。 Batch Augmentation (BA) 没有 BA 的普通SGD： 一个具有损失函数 ℓ (w, xn, yn) 的模型， {xn, yn} 表示目标对的数据集 ，n 从 1 到 N（是 N 个数据样本），其中 xn ∈ X 和 T：X → X是应用于每个示例的一些数据增强变换，例如，图像的随机裁剪。每个批次的通用训练过程
文献阅读：Training data-efficient image transformers & distillation through attention
MRzzyy的博客
06-29 534
Training data-efficient image transformers & distillation through attention 1.四个问题 要解决什么问题 解决Transformer在图像分类问题中对数据集的限制 用什么方法解决 作者提出 DeiT，一种图像 transformers，通过改进训练和蒸馏过程，不需要非常大的数据量来进行训练。 而相比与 EfficientNets 来说，DeiT 只对已有的数据增强和正则化策略进行了优化，除了distillation toke
【论文笔记】Training data-efficient image transformers & distillation through attention(Deit)
OneYearIsEnough的博客
05-25 524
图像分类模型Deit
DeiT学习笔记
charles_zhang_的博客
07-05 1204
Training data-efficient image transformers & distillation through attention最近，纯粹基于注意力的神经网络被证明可以解决图像理解任务，例如图像分类。这些高性能的视觉transformers使用大型基础设施预先训练了数亿张图像，因此限制了其采用。在这项工作中，我们仅通过在Imagenet上进行训练来生产具有竞争力的无卷积变压器。我们用不到3天的时间在一台电脑上训练他们。我们的参考视觉transformers（86M参数）在没有外部数据的
CogView: Mastering Text-to-Image Generation via Transformers
07-27
CogView是一个基于Transformer的文本到图像生成模型，旨在通过学习文本描述来生成与之相符的图像。这个模型的目标是提供一种更高质量、更准确的文本到图像转换能力。 CogView通过使用自注意力机制来捕捉文本中的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值