论文解读：Self-Distillation from the Last Mini-Batch for Consistency Regularization

已于 2022-05-03 21:42:24 修改
阅读量803 收藏 2
点赞数
分类专栏： 知识蒸馏 计算机视觉论文-训练技巧-工具 文章标签： batch 深度学习 人工智能
于 2022-05-03 21:24:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012526003/article/details/124560997
版权
这篇博客介绍了CVPR2022会议上发表的论文《Self-Distillation from the Last Mini-Batch for Consistency Regularization》。论文提出了一种新的自我蒸馏方法——DLB，它通过对同一小批量数据在连续迭代中的预测一致性进行蒸馏，以实现正则化。DLB方法不需要修改模型结构，与传统的知识蒸馏相比，代码改动量小且计算过程更灵活。实验结果显示，这种方法在多个数据集和模型上均表现出优越的性能，提高了模型的鲁棒性。作者建议未来在更大的数据集如ImageNet1k上进一步验证其效果。
摘要由CSDN通过智能技术生成

1. 论文基本信息

  • 论文：Self-Distillation from the Last Mini-Batch for Consistency Regularization
  • 地址：https://arxiv.org/pdf/2203.16172.pdf
  • 代码：https://github.com/Meta-knowledge-Lab/DLB
  • 会议：CVPR2022

2. 背景与摘要

关于知识蒸馏方法的研究其实已经很多了，知识蒸馏本质上是一种正则化方法，图像分类任务中，在加上蒸馏之后，数据集的train acc基本上都有所降低，而eval acc在参数合适的情况下，基本都会有所提升。

使用教师模型进行知识蒸馏，一般来说对机器的计算能力要求比较高，同时过程也比较繁琐。以往的自蒸馏策略一般需要改变模型结构，比如加入attention block或者dropout等。本文对这种自蒸馏策略进行改进，基于对相同batch 数据的预测结果一致性进行蒸馏，最终提出了DLB蒸馏方法，达到了SOTA。

3. DLB方法流程图

DLB方法流程图如下，在每次迭代的时候，每个batch的数据包含

了解本专栏 订阅专栏 解锁全文 超级会员免费看
littletomatodonkey
关注
专栏目录
订阅专栏
【KD】2022 CVPR Self-Distillation from the Last Mini-Batch for Consistency Regularization
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
04-08 420
目录 简介 DLB 自蒸馏框架 1. 本文的任务 2. 本文创新与贡献 DLB 自蒸馏框架训练机制 实验设置 结语 简介 OPPO 研究院联合上海交通大学提出的新的自蒸馏框架DLB，无需额外的网络架构修改，对标签噪声具有鲁棒性，并可大幅节约训练的空间复杂度，在三个基准数据集的实验中达到了 SOTA 性能。 深度学习促进人工智能（AI）领域不断发展，实现了许多技术突破。与此同时，如何在有限硬件资源下挖掘模型潜能、提升部署模型的准确率成为了学界和业界的研究热点。其中，知识蒸馏..
【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification
梁瑛平的博客
08-08 1262
【CVPR 2021】自我知识蒸馏：Self-distillation with Batch Knowledge Ensembling Improves ImageNet Classification论文地址：代码地址：主要问题：主要思路：主要贡献：具体实现：基本符号：批处理知识的传播与集成：近似估计：实验结果：联系作者：我的公众号： 论文地址： https://arxiv.org/abs/2104.13298 代码地址： https://github.com/yxgeee/BAKE 主要问题： 知识蒸馏通
Self-Distillation from the Last Mini-Batch for Consistency Regularization翻译
nopSled
05-17 1277
摘要 知识蒸馏（KD）作为强大的正则化策略，其通过利用学习好的样例级软目标来提高泛化能力，显示出了明显的改进。然而，在现有KD中要么是采用复杂预训练的teacher网络，要么是采用多个student进行ensemble的结果，这既耗费大量时间，又导致计算成本较大。目前，已经提出了各种self KD方法来实现更高的蒸馏效率。但是，它们要么需要额外的网络结构修改，要么很难并行化。为了应对这些挑战，我们提出了一个有效且可靠的self-distillation框架，称为Self-Distillation from
Self-Distillation from the Last Mini-Batch for Consistency Regularization中文版 (含：bibtex格式的引用)
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
12-12 925
知识蒸馏（Knowledge distillation，KD）展示了强大的潜力，作为一种强有力的正则化策略，通过利用学习的样本级软目标来提升泛化能力。然而，在现有的知识蒸馏中，使用复杂的预训练教师网络或一组同行学生既耗时又计算成本高昂。已经提出了各种自我蒸馏方法以实现更高的蒸馏效率。然而，它们要么需要额外的网络架构修改，要么难以进行并行化。
【论文笔记_自蒸馏_知识蒸馏_2022】Self-Distillation from the Last Mini-Batch for Consistency Regularization
qq_45128278的博客
04-16 4805
摘要 知识提炼（KD）作为一种强大的正则化策略，通过利用学到的样本级软目标来提高泛化能力，显示了光明的前景。然而，在现有的KD中采用复杂的预训练教师网络或同伴学生的集合，既耗时又耗费计算成本。为了实现更高的蒸馏效率，人们提出了许多自我KD方法。然而，它们要么需要额外的网络结构修改，要么难以并行化。为了应对这些挑战，我们提出了一个高效、可靠的自蒸馏框架，命名为 “来自最后小批量的自蒸馏”（DLB）。具体来说，我们通过限制每个小批的一半与前一个迭代相吻合来重新安排顺序采样。同时，其余的一半将与即将到来的迭代相.
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
CVPR 2022 论文列表（持续更新）
gbstack08的专栏
03-05 1万+
本文包括论文链接及代码 关注公众号：AI基地，及时获取最新资讯，学习资料 GitHub链接：GitHub - gbstack/cvpr-2022-papers: CVPR 2022 papers with code 因为CSDN的markdown编辑器限制，文本多了保存会卡死。大家尽量到上面的GitHub链接去看吧。 CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Pro
计算机视觉论文总结系列（一）：目标检测篇
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-23 8359
本系列主要面向计算机视觉目标检测、图像分割及OCR等领域，每篇将对该领域论文等方面展开介绍，本篇主要介绍目标检测领域历年论文，希望大家能够多多交流如有错误请大家在评论区指正，如有侵权联系删除
【论文笔记_自蒸馏_2021】GROUND-TRUTH TARGETS DAMPEN REGULARIZATION IMPOSED BY SELF-DISTILLATION
qq_45128278的博客
07-12 852
即使是你的老师也需要指导：真实目标抑制了自我蒸馏所施加的正则化。 知识蒸馏是一个经典的程序，其中一个神经网络与原始目标一起在另一个网络的输出上进行训练，以便在架构之间转移知识。在自我蒸馏的特殊情况下，网络架构是相同的，已经被观察到可以提高泛化的准确性。在本文中，我们考虑了在核回归设置中自我蒸馏的迭代变体，其中连续的步骤包含了模型输出和地面真实目标。这使得我们能够提供第一个关于在自我蒸馏过程中使用加权真实目标的重要性的理论结果。我们的重点是用适合蒸馏的加权均方误差目标函数来拟合非线性函数的训练数据，但要符合模
谈谈深度学习中的 Batch_Size
热门推荐
程引的专栏
11-12 14万+
谈谈深度学习中的 Batch_SizeBatch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。首先，为什么需要有 Batch_Size 这个参数？Batch 的选择，首先决定的是下降的方向。如果数据集比较小，完全可以采用全数据集 （ Full Batch Learning ）的形式，这样做至少有 2 个好处：其一，由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝
论文：accurate ,large minibatch SGD：Training ImageNet in 1 Hour
xxiaozr的博客
05-18 5790
Abstract:这篇论文发现，在 ImageNet dataset 上使用 large minibatch 会导致优化困难，但是当这个问题解决了，模型具有更好的泛化能力，并且没有精度上的损失为达到这个目的，我们提出了 hyper-parameter-free linear scaling rule，用来调整学习率，学习率是有关于 minibatch size 的一个函数，还提出了一个 warmu...
mini-batch 和batch到底是什么
qq_43391414的博客
08-08 6140
mini-batch是将所有数据分批，然后按顺序处理，每一批计算一次loss，更新参数，然后下一批。也就是我们代码必用的（例如batch_size=128），只是我以前一直以为这个叫做batch，原来这个叫做mini-batch。 所以以后要改口了，因为论文中这个更新参数的方法都是写成mini-batch的。 ...
论文阅读笔记（三十七）：MegDet: A Large Mini-Batch Object Detector
sunshine_010的博客
04-24 3145
The development of object detection in the era of deep learning, from R-CNN [11], Fast/Faster R-CNN [10, 31] to recent Mask R-CNN [14] and RetinaNet [24], mainly come from novel network, new framework...
【DL--06】深度学习基本概念—batch
赖德发的博客
07-17 3444
batch这个概念与Keras无关，老实讲不应该出现在这里的，但是因为它频繁出现，而且不了解这个技术的话看函数说明会很头痛，这里还是简单说一下。深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch
浅析深度学习mini_batch的BP反传算法
何雷
11-25 6499
在深度学习中，如果我们已经定义了网络，输入，以及输出，那么接下来就是损失函数，优化策略，以及一般由框架完成的BP反传。这篇博文我们主要探讨一下深度的BP反传算法（以梯度下降为例），尤其是mini_batch的BP反传，目标是如何更新网络的参数：权重和偏置。        首先，我们来看网络中基本参数的一些定义。        使用梯度下降法，一般计算所有样本的损失函数的
深度学习（batch，mini-batch，其它算法）
cbf的博客
10-05 5234
batch vs mini-batch 2.理解mini-batch 分成几份，，，遍历做回归与反省回归。 若size=m，才相当于batch。 若size=1 ,随机梯度下降法（stochastic gradient descent）每个样本样本都是独立Mini_batch. 随机梯度下降法有很多的 噪声。指错方向。往往不会到达最小值，而是在附近波动.很显然，一个样本求一次梯度，没有
Linux命令-batch命令（在系统不繁忙的时候执行定时任务）
RisunJan的博客
02-10 816
batch命令 用于在指定时间，当系统不繁忙时执行任务，用法与at相似。日期时间：指定任务执行的日期时间。
深度学习速通系列：什么是文本数据标注
最新发布
Ven%的博客
09-22 565
标注过程中可能需要使用多种工具和方法，完成后还需进行质量检查和验收，最终将数据转换为适合模型使用的格式并进行交付。整个过程需要细致的态度和严谨的流程，以确保数据的质量和模型的性能。文本数据标注是机器学习和人工智能领域中的一个重要环节，它涉及将文本中的信息进行分类、识别和标记，以便机器学习模型能够更好地理解和处理这些数据。标注后的数据通常用于训练机器学习模型，如自然语言处理（NLP）模型，以提高模型在文本分类、情感分析、问答系统等任务上的性能。
minilm: deep self-attention distillation for task-agnostic compression of pr
01-24
minilm是一种基于深度自注意力蒸馏的任务无关压缩模型。它采用自注意力机制来捕捉输入序列中的长期依赖关系，从而能够在不丢失重要信息的情况下将模型压缩到更小的规模。这种压缩技术对于处理大规模数据和提高模型计算效率非常有用。与传统的压缩方法相比，minilm能够在保持较高准确性的前提下显著减少模型的体积，从而提高模型的部署和运行效率。 minilm的深度自注意力蒸馏技术有效地减少了模型的参数数量，并且通过蒸馏过程中引入的知识蒸馏损失，使得压缩后的模型能够保持原始模型的预测能力。这种任务无关的压缩技术可以应用于各种不同的自然语言处理任务，如语言建模、文本分类和机器翻译等。同时，minilm还可以在边缘设备和嵌入式系统上进行高效部署，为移动端和物联网设备提供更快速和节能的模型推理能力。 总的来说，minilm代表了一种新型的深度学习模型压缩方法，通过深度自注意力蒸馏技术实现了对模型的高效压缩。该方法不仅在保持模型预测能力的同时大幅减小了模型的规模，还能够适用于各种不同的自然语言处理任务和部署环境。在未来，minilm和类似的压缩技术有望成为深度学习模型在大规模数据处理和边缘计算场景中的重要应用手段。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

littletomatodonkey

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值