Knowledge Distillation 知识蒸馏 之 Hint layer & self-knowledge distillation

最新推荐文章于 2023-04-16 22:15:35 发布
最新推荐文章于 2023-04-16 22:15:35 发布
阅读量638 收藏 2
点赞数 1
文章标签： 知识蒸馏 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/115296872
版权

Hint layer

Hint layer是《FitNets: Hints for Thin Deep Nets》提出的一个概念

 

Hint定义是：teacher的隐含层输出，用来引导student的学习过程。类似的又从student中选择一个隐含层叫做guided layer，我们希望guided layer能预测出与hint layer相近的输出。

 

 

self-knowledge distillation

 

t-1时刻的student model作为t时刻student的teacher

 

 

 

 

hxxjxw
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
knowledge distillation 综述
lovep1的博客
11-22 2432
直接上论文survey：https://arxiv.org/pdf/2006.05525v6.pdf 开局提到有数种模型加速的方法： 1、权重共享和剪枝 2、低秩分解 3、转移的紧凑卷积滤波器：这些方法通过转移去除无关紧要的参数或压缩卷积滤波器 4、KD 然后摘要里面说明kd的key problem是如何将teacher模型里面的knowledge transfer到student模型，一个kd系统包括三个部分，knowledge、蒸馏算法，teacher模型。入下图所示： 接下来文章回.
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏 知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算...
【论文阅读】Self-Knowledge Distillation with Progressive Refinement of Targets
Artistzq的博客
07-13 1274
Self-Knowledge Distillation with Progressive Refinement of Targets
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读
PyBigStar的博客
02-06 2205
Self-Knowledge Distillation: A Simple Way for Better Generalization论文阅读  这是一篇2020年6月挂载arxiv上的论文，目前还处于under review。这篇论文从正则化方法可以提高网络的泛化能力这一点出发，提出了一个简单且有效的正则化方法——Self-KD，即自知识蒸馏。从作者所做的一系列实验可以看出来，Self-KD不仅在提高精度上面起到了作用，还能提供高质量的置信度估计（Expected Calibration Error，E
Hint Learning和知识蒸馏
deephub
08-24 3184
知识蒸馏是一种将知识从一组繁琐的模型中提取出来并将其压缩成单个模型的方法，以便能够部署到现实生活中的应用程序中。 知识蒸馏是由人工智能教父 Geoffrey Hinton 和他在谷歌的两位同事 Oriol Vinyals 和 Jeff Dean 于 2015 年引入的。 知识蒸馏是指将繁琐的模型（教师）的学习行为转移到较小的模型（学生），其中，教师模型产生的输出作为训练学生的“软目标”。 作者揭示了他们在MNIST数据集上取得了令人惊讶的结果，并表明将一组模型中的知识提取到一个单一模型中可以获得显著的改进
目标识别知识蒸馏
小闹钟的机器学习时间
12-05 1039
啊感觉就是hint learning和蒸馏的一个组合-好像没什么特别大的改进。比较明显的一个创新点应该是回归损失的上界设定。 没有看完这篇论文，我是真的辣鸡哭哭。 learning efficient object detection models with knowledge distillation 尽管基于CNN的目标识别展现出了明显的准确率上的提升，但它也需要大量的时间来处理一个输入图像...
Knowledge-Distillation-Toolkit:基于PyTorch和PyTorch Lightning的知识蒸馏工具包
03-18
知识蒸馏工具包 该工具包使您可以使用知识提炼来压缩机器学习模型。要使用此工具包，您需要提供一个教师模型，一个学生模型，用于训练和验证的数据加载器以及一个推理管道。该工具包基于和 ，因此，教师模型和学生...
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新...
awesome-knowledge-distillation:很棒的知识提炼
04-01
很棒的知识提炼 =============================== 文件 ，LK Hansen，P。Salamon，1990年 ，安德烈斯·克罗格（Andres Krogh），杰斯珀·韦德尔斯比（Jesper Vedelsby），1995年 ，A。Blum，T。Mitchell，1998年 ，...
Knowledge-Distillation:博客https
05-08
用Keras进行知识蒸馏Keras实施Hinton的知识蒸馏（KD），这是一种将知识从大模型转移到小模型的方法。概括我使用Caltech-256数据集对该技术进行了演示。 我将知识从Xception转移到MobileNet-0.25和SqueezeNet v1.1。 ...
【论文笔记_自蒸馏_2020】Regularizing Class-wise Predictions via Self-knowledge Distillation
qq_45128278的博客
07-14 1190
具有数百万个参数的深度神经网络可能会因为过度拟合而导致泛化效果不佳。为了缓解这个问题，我们提出了一种新的正则化方法，对类似样本之间的预测分布进行惩罚。特别是，我们在训练期间提炼出同一标签的不同样本之间的预测分布。这导致了单个网络的暗知识（即关于错误预测的知识）的正则化（即自我知识的提炼），迫使它以类的方式产生更有意义和一致的预测。因此，它减轻了过度自信的预测，减少了类内变化。我们在各种图像分类任务上的实验结果表明，这种简单而强大的方法不仅可以显著提高现代卷积神经网络的泛化能力，而且可以提高其校准性能。…..
【论文笔记_自监督知识蒸馏】Refine Myself by Teaching Myself : Feature Refinement via Self-Knowledge Distillation
qq_45128278的博客
10-22 3827
通过自学来完善自己：基于自知识蒸馏的特征提取 作者：Mingi Ji， Seungjae Shin， Seunghyun Hwang， Gibeom Park1 Il-Chul Moon 摘要 知识提取是一种将知识从预先训练的复杂教师模型转移到学生模型的方法，因此在部署阶段，较小的网络可以取代较大的教师网络。为了减少培训大型教师模型的必要性，最近的文献介绍了一种自我知识蒸馏方法，该方法在没有预先培训的教师网络的情况下，逐步训练学生网络提取自己的知识。虽然自知识蒸馏在很大程度上分为基于数据增强的方法和基于辅助
Regularizing Class-wise Predictions via Self-knowledge Distillation 论文阅读笔记
read, note and comment papers
11-12 714
Regularizing Class-wise Predictions via Self-knowledge Distillation 理解了什么是知识蒸馏就能理解这篇文章的意义。 知识蒸馏一般用于教师-学生网络，也就是说，在分类任务下，有一个训练得很完善的网络，对某一个样本输出logit值向量，利用这个logit值向量来监督一个学生网络，从而达到比gt label的one-hot监督更好的监督效果。 而本文提出的叫自知识蒸馏，也就是利用网络自身的logit值来监督自身，是对同类的不同样本而言的。 .
深度学习论文笔记（知识蒸馏）—— FitNets: Hints for Thin Deep Nets
菜到怀疑人生的博客
12-27 6482
文章目录主要工作知识蒸馏的一些简单介绍 主要工作 让小模型模仿大模型的输出（soft target），从而让小模型能获得大模型一样的泛化能力，这便是知识蒸馏，又称为模型压缩，本文在Hinton提出knowledge distillation方法（下文简称KD）的基础进行扩展，利用teacher模型特征提取器的中间层输出作为hints，结合KD，对比teacher模型更深但更窄的student模型进...
知识蒸馏（FitNet）---学习笔记
oneself的博客
08-20 705
知识蒸馏（FitNet）---学习笔记
《FITNETS: HINTS FOR THIN DEEP NETS》论文整理
LionelZhao的博客
08-10 3577
《FITNETS: HINTS FOR THIN DEEP NETS》首次提出了基于feature的知识，使用hint-based training的方法训练了效果不错的fitnet。
【综述】2021-Knowledge Distillation: A Survey
简单记录生活、学习
03-29 583
本文来源于：
知识蒸馏简单介绍
雾里闹的博客
04-16 402
在自然语言领域中，自bert伊始，预训练模型变得越来越大。大的预训练模型在离线测评时通常有着良好的结果，但是对于线上的时效要求往往难以满足。因此，发展出了权重剪枝（Weight Pruning），量化（Quantization），知识蒸馏（Knowledge Distillation）这些技术来减少模型的大小，提高模型的运行效率。本文将从模型训练和损失函数两个角度去简单介绍下几种不同的知识蒸馏方法。知识蒸馏是指将知识从一个复杂的模型压缩进入一个更小的模型的方法。EDL。
FitNets: Hints for thin deep nets论文笔记
qq_43812519的博客
04-05 2241
论文地址：https://arxiv.org/abs/1412.6550 github地址：https://github.com/adri-romsor/FitNets 这篇文章提出一种设置初始参数的算法，目前很多网络的训练需要使用预训练网络参数。对于一个thin但deeper的网络的训练，作者提出知识蒸馏的方式将另一个大网络的中间层输出蒸馏到该网络中作为预训练参数初始化网络。 Motivatio...
data-free knowledge distillation with soft targeted transfer set synthesis
最新发布
09-26
数据免费知识蒸馏与软目标传输集合合成是一种通过利用现有数据集来提高深度神经网络的性能的方法。这种方法主要包括两个步骤：知识蒸馏和软目标传输集合合成。 首先，知识蒸馏是指将一个已经训练好的大型模型的知识转移到一个小型模型中。这样做的好处是，小型模型可以通过利用大型模型的知识来提高其性能。知识蒸馏的过程包括将大型模型的输出（一般是概率分布）作为目标分布，然后使用目标分布和小型模型的输出之间的交叉熵作为损失函数进行训练。通过这种方式，小型模型可以学习到大型模型的知识，并提高其性能。 其次，软目标传输集合合成是指通过合成新的目标数据集来进一步提高小型模型的性能。这是通过将已有数据集中的样本与大型模型的输出结合起来产生的。具体而言，对于每个样本，使用大型模型进行预测，并根据预测结果以及训练集中的标签来合成一个新的目标分布。然后，再次使用目标分布和小型模型的输出之间的交叉熵作为损失函数进行训练。通过这种方式，小型模型可以进一步学习到大型模型的知识，并提高其性能。 总之，数据免费知识蒸馏与软目标传输集合合成是一种提高深度神经网络性能的有效方法。通过利用已有的数据集和大型模型的知识，可以帮助小型模型更好地学习并提高其性能。这种方法在许多领域中都有广泛的应用，例如计算机视觉、自然语言处理等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值