Knowledge Distillation 知识蒸馏 之 Hint layer & self-knowledge distillation

最新推荐文章于 2023-04-16 22:15:35 发布
最新推荐文章于 2023-04-16 22:15:35 发布
阅读量702 收藏 2
点赞数 1
文章标签： 知识蒸馏 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/115296872
版权

Hint layer

Hint layer是《FitNets: Hints for Thin Deep Nets》提出的一个概念

 

Hint定义是：teacher的隐含层输出，用来引导student的学习过程。类似的又从student中选择一个隐含层叫做guided layer，我们希望guided layer能预测出与hint layer相近的输出。

 

 

self-knowledge distillation

 

t-1时刻的student model作为t时刻student的teacher

 

 

 

 

hxxjxw
关注
8.2 知识蒸馏方法概述
炫云云
05-16 291
💖💖感谢各位观看这篇文章，💖💖点赞💖💖、收藏💖💖、你的支持是我前进的动力！💖💖 💖💖感谢你的阅读💖，专栏文章💖持续更新！💖关注不迷路！!💖 1 为什么要有知识蒸馏？ 2 知识蒸馏的理论依据 2.1 Teacher Model和Student Model 2.2 知识蒸馏的关键点 为什么soft target进行训练会有效果? 3 知识蒸馏的具体方法 3.1 Logits蒸馏 logits是什么？ softmax函数 关于”温度”的讨论 知识蒸馏方法 一种特殊情形: 直接m
【知识蒸馏】知识蒸馏（Knowledge Distillation）技术详解
热门推荐
Roaddd的博客
02-24 2万+
知识蒸馏综述
【论文阅读】Self-Knowledge Distillation with Progressive Refinement of Targets
Artistzq的博客
07-13 1430
Self-Knowledge Distillation with Progressive Refinement of Targets
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读
PyBigStar的博客
02-06 2346
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读  这是一篇2020年6月挂载arxiv上的论文，目前还处于under review。这篇论文从正则化方法可以提高网络的泛化能力这一点出发，提出了一个简单且有效的正则化方法——Self-KD，即自知识蒸馏。从作者所做的一系列实验可以看出来，Self-KD不仅在提高精度上面起到了作用，还能提供高质量的置信度估计（Expected Calibration Error，E
Hint Learning和知识蒸馏
deephub
08-24 3267
知识蒸馏是一种将知识从一组繁琐的模型中提取出来并将其压缩成单个模型的方法，以便能够部署到现实生活中的应用程序中。 知识蒸馏是由人工智能教父 Geoffrey Hinton 和他在谷歌的两位同事 Oriol Vinyals 和 Jeff Dean 于 2015 年引入的。 知识蒸馏是指将繁琐的模型（教师）的学习行为转移到较小的模型（学生），其中，教师模型产生的输出作为训练学生的“软目标”。 作者揭示了他们在MNIST数据集上取得了令人惊讶的结果，并表明将一组模型中的知识提取到一个单一模型中可以获得显著的改进
目标识别知识蒸馏
小闹钟的机器学习时间
12-05 1071
啊感觉就是hint learning和蒸馏的一个组合-好像没什么特别大的改进。比较明显的一个创新点应该是回归损失的上界设定。 没有看完这篇论文，我是真的辣鸡哭哭。 learning efficient object detection models with knowledge distillation 尽管基于CNN的目标识别展现出了明显的准确率上的提升，但它也需要大量的时间来处理一个输入图像...
knowledge distillation 综述
lovep1的博客
11-22 2471
直接上论文survey：https://arxiv.org/pdf/2006.05525v6.pdf 开局提到有数种模型加速的方法： 1、权重共享和剪枝 2、低秩分解 3、转移的紧凑卷积滤波器：这些方法通过转移去除无关紧要的参数或压缩卷积滤波器 4、KD 然后摘要里面说明kd的key problem是如何将teacher模型里面的knowledge transfer到student模型，一个kd系统包括三个部分，knowledge、蒸馏算法，teacher模型。入下图所示： 接下来文章回.
知识蒸馏基础及Bert蒸馏模型
小白胖爱学习-的博客
04-05 4453
为了提高模型准确率，我们习惯用复杂的模型（网络层次深、参数量大），甚至会选用多个模型集成的模型，这就导致我们需要大量的计算资源以及庞大的数据集去支撑这个“大”模型。但是，在部署服务时，就会发现这种“大”模型推理速度慢，耗费内存/显存高，这时候我们又会想念“小”模型的好。那么，有没有一种方法能够尽可能继承大模型的泛化能力，又像小模型一样轻量级呢？今天来介绍一种模型压缩的方法——蒸馏（Distillation）。
目标检测网络的知识蒸馏
AI Flash
09-06 1万+
"Learning Efficient Object Detection Models with Knowledge Distillation"这篇文章通过知识蒸馏（Knowledge Distillation）与Hint指导学习（Hint Learning），提升了主干精简的多分类目标检测网络的推理精度（文章以Faster RCNN为例），例如Faster RCNN-Alexnet、Faster...
用于异常检测的多分辨率知识蒸馏
weixin_48866452的博客
05-08 2321
Unsupervised representation learning has proved to be a critical component of anomaly detection/localization in images. The challenges to learn such a representation are two-fold. Firstly, the sample size is not often large enough to learn a rich generaliz
知识蒸馏之自蒸馏
qq_35561971的博客
03-03 2万+
Attention Distillation@TOC Attention Distillation in CVPR\AAAI (from 2021 to 2022) 本文整理了AAAI2021/AAAI2022/CVPR2021中的注意力蒸馏类文章（强调feature-based knowledge distillation）,后续可能会继续更新其他计算机视觉领域顶会中的相关工作，欢迎各位伙伴相互探讨。 背景知识-注意力蒸馏 1.定义：注意力蒸馏 （Attention distillation）：用于把大网
【论文笔记_自蒸馏_2020】Regularizing Class-wise Predictions via Self-knowledge Distillation
qq_45128278的博客
07-14 1318
具有数百万个参数的深度神经网络可能会因为过度拟合而导致泛化效果不佳。为了缓解这个问题，我们提出了一种新的正则化方法，对类似样本之间的预测分布进行惩罚。特别是，我们在训练期间提炼出同一标签的不同样本之间的预测分布。这导致了单个网络的暗知识（即关于错误预测的知识）的正则化（即自我知识的提炼），迫使它以类的方式产生更有意义和一致的预测。因此，它减轻了过度自信的预测，减少了类内变化。我们在各种图像分类任务上的实验结果表明，这种简单而强大的方法不仅可以显著提高现代卷积神经网络的泛化能力，而且可以提高其校准性能。…..
【论文笔记_自监督知识蒸馏】Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation
qq_45128278的博客
10-22 4163
通过自学来完善自己：基于自知识蒸馏的特征提取 作者：Mingi Ji， Seungjae Shin， Seunghyun Hwang， Gibeom Park1 Il-Chul Moon 摘要 知识提取是一种将知识从预先训练的复杂教师模型转移到学生模型的方法，因此在部署阶段，较小的网络可以取代较大的教师网络。为了减少培训大型教师模型的必要性，最近的文献介绍了一种自我知识蒸馏方法，该方法在没有预先培训的教师网络的情况下，逐步训练学生网络提取自己的知识。虽然自知识蒸馏在很大程度上分为基于数据增强的方法和基于辅助
Regularizing Class-wise Predictions via Self-knowledge Distillation 论文阅读笔记
read, note and comment papers
11-12 756
Regularizing Class-wise Predictions via Self-knowledge Distillation 理解了什么是知识蒸馏就能理解这篇文章的意义。 知识蒸馏一般用于教师-学生网络，也就是说，在分类任务下，有一个训练得很完善的网络，对某一个样本输出logit值向量，利用这个logit值向量来监督一个学生网络，从而达到比gt label的one-hot监督更好的监督效果。 而本文提出的叫自知识蒸馏，也就是利用网络自身的logit值来监督自身，是对同类的不同样本而言的。 .
深度学习论文笔记（知识蒸馏）—— FitNets: Hints for Thin Deep Nets
菜到怀疑人生的博客
12-27 6926
文章目录主要工作知识蒸馏的一些简单介绍 主要工作 让小模型模仿大模型的输出（soft target），从而让小模型能获得大模型一样的泛化能力，这便是知识蒸馏，又称为模型压缩，本文在Hinton提出knowledge distillation方法（下文简称KD）的基础进行扩展，利用teacher模型特征提取器的中间层输出作为hints，结合KD，对比teacher模型更深但更窄的student模型进...
知识蒸馏（FitNet）---学习笔记
oneself的博客
08-20 818
知识蒸馏（FitNet）---学习笔记
【综述】2021-Knowledge Distillation: A Survey
MOL
03-29 692
本文来源于：
知识蒸馏简单介绍
雾里闹的博客
04-16 487
在自然语言领域中，自bert伊始，预训练模型变得越来越大。大的预训练模型在离线测评时通常有着良好的结果，但是对于线上的时效要求往往难以满足。因此，发展出了权重剪枝（Weight Pruning），量化（Quantization），知识蒸馏（Knowledge Distillation）这些技术来减少模型的大小，提高模型的运行效率。本文将从模型训练和损失函数两个角度去简单介绍下几种不同的知识蒸馏方法。知识蒸馏是指将知识从一个复杂的模型压缩进入一个更小的模型的方法。EDL。
FitNets: Hints for thin deep nets论文笔记
qq_43812519的博客
04-05 2373
论文地址：https://arxiv.org/abs/1412.6550 github地址：https://github.com/adri-romsor/FitNets 这篇文章提出一种设置初始参数的算法，目前很多网络的训练需要使用预训练网络参数。对于一个thin但deeper的网络的训练，作者提出知识蒸馏的方式将另一个大网络的中间层输出蒸馏到该网络中作为预训练参数初始化网络。 Motivatio...
data-free knowledge distillation with soft targeted transfer set synthesis
最新发布
09-26
数据免费知识蒸馏与软目标传输集合合成是一种通过利用现有数据集来提高深度神经网络的性能的方法。这种方法主要包括两个步骤：知识蒸馏和软目标传输集合合成。 首先，知识蒸馏是指将一个已经训练好的大型模型的知识转移到一个小型模型中。这样做的好处是，小型模型可以通过利用大型模型的知识来提高其性能。知识蒸馏的过程包括将大型模型的输出（一般是概率分布）作为目标分布，然后使用目标分布和小型模型的输出之间的交叉熵作为损失函数进行训练。通过这种方式，小型模型可以学习到大型模型的知识，并提高其性能。 其次，软目标传输集合合成是指通过合成新的目标数据集来进一步提高小型模型的性能。这是通过将已有数据集中的样本与大型模型的输出结合起来产生的。具体而言，对于每个样本，使用大型模型进行预测，并根据预测结果以及训练集中的标签来合成一个新的目标分布。然后，再次使用目标分布和小型模型的输出之间的交叉熵作为损失函数进行训练。通过这种方式，小型模型可以进一步学习到大型模型的知识，并提高其性能。 总之，数据免费知识蒸馏与软目标传输集合合成是一种提高深度神经网络性能的有效方法。通过利用已有的数据集和大型模型的知识，可以帮助小型模型更好地学习并提高其性能。这种方法在许多领域中都有广泛的应用，例如计算机视觉、自然语言处理等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值