A Gift from Knowledge Distillation: Fast Optimization,Network Minimization and Transfer Learning论文初读

最新推荐文章于 2025-02-19 12:23:44 发布
最新推荐文章于 2025-02-19 12:23:44 发布
阅读量2.5k 收藏 10
点赞数
文章标签： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37665984/article/details/103288582
版权
本文提出了将知识蒸馏视为解决问题的流，通过不同层特征的内积计算，实现学生网络的快速优化和性能超越教师网络。这种方法不仅适用于迁移学习，还能显著提升学生网络的性能，且实验表明，通过FSP矩阵损失，可以提高学习效率并降低不同网络之间的相关性，从而提升集成模型的准确性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

摘要

引言

相关工作

  知识迁移

  快速优化

  迁移学习

方法

  提出观点

  数学表达式

  FSP Matrix的损失

  学习步骤

实验

  快速优化

  性能的提升

  迁移学习

结论

摘要

提出了将蒸馏的知识看作成一种解决问题的流，它是在不同层之间的feature通过内积计算得到的

这个方法有三个好处：

  student网络可以学的更快

  student网络可以超过teacher网路的性能

  可以适用于迁移学习（teacher和student属于不同的任务）

引言

  • 之前的工作

KD

Fitnets（hint）

  • 本文的创新点

将知识看作如何解决问题的流，所以将要蒸馏知识看作解决问题的流

流被定义为在两个不同层上的features上的关系

Gram matrix是通过计算特征间的内积得到的，可以表示输入图像的纹理信息，本文也是通过计算Gram matrix来得到流，不同点在于原本的Gram matrix是计算一个层的特征间的内积，而本文是结算不同层特征间的内积

Figure1是计算FSP的概念图，FSP就是flow of solution procedure

  • 本文的贡献

提出了一种好的知识蒸馏的方法

这种方法对快速优化有帮助

这种方法可以显著提升student网络的性能

这种方法适用于迁移学习

最低0.47元/天 解锁文章
待墨痕干
关注
A Gift from Knowledge Distillation：Fast Optiization,Network Minimization and Transfer Learning
langzi453的博客
09-26 2523
A Gift from Knowledge Distillation_Fast Optiization,Network Minimization and Transfer Learning： 本文提出以下观点： （1）从教师网络萃取知识不一定只从最后的softmax层这一层，还可以从多个层提取。结构如下：   （2）将从教师网络学习到的知识用来对学生网络进行初始化，并在之后用主流的方法...
论文笔记：A Gift from Knowledge Distillation
DeepIndeed
12-25 849
来源 CVPR2017 名词解释 迁移学习 迁移学习的效果与知识的表示是很相关的。 Because a DNN uses many layers sequentially to map from the input space to the output space, the flow of solving a problem can be defined as the relatio...
KD论文阅读：A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer
qq_42902997的博客
09-09 1839
主要思想 网络中的不同层之间存在 flow，这种流可以被定义为两个层特征向量之间的 innner product 之前 Gramian 的研究主要是将这个内积应用在一个层之内，这篇文章应用在不同的层之间 这篇文章主要将第一层和最后一层作为主要的研究对象，两个特征层的内积得到的矩阵定义为 FSP 矩阵 优势 fast optimization: 两个阶段训练，第一个阶段获得的 weights 可以用于第二阶段的初始化 improve the performance of a small work: 提升
【论文阅读笔记】知识蒸馏带来的礼物：快速优化、网络最小化和迁移学习 | FSP
静谧、淡雅
02-19 1321
知识蒸馏带来的礼物：快速优化、网络最小化和迁移学习 | FSP
A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning
weixin_48448726的博客
11-02 732
提出了一种从DNN中提取知识的新方法。该方法将提取的知识确定为用所提出的FSP矩阵计算的求解过程的流程，优于现有的知识转移方法。从三个重要方面验证了所提方法的有效性。该方法优化了DNN，提高了性能。此外，该方法可用于迁移学习任务
论文阅读 A Gift from Knowledge Distillation: Fast Optimization
sinat_22078359的博客
06-22 2006
本文提出以下几个观点： 从教师网络萃取知识不一定只从最后的softmax层这一层，还可以从多个层提取。 将从教师网络学习到的知识用来对学生网络进行初始化，并在之后用主流的方法进行训练。 因为FSP矩阵又两个层的特征得来，所以如果尺寸不同的话，可以用最大池化层拟合。 用Gram矩阵来计算loss函数。Gram矩阵是计算每个通道i与通道j的feature map的内积。Gram matrix的每个值都可以说是代表i通道的feature map与通道j的feature map互相关的程度。如下
a gift from knowledge distillation
小闹钟的机器学习时间
01-09 469
看完没啥想法-就是改良一下中间层指导的过程，第二部分训练的时候没有用到soft target。使用gram矩阵表示中间层-也不是一个很新的方法。 最近翻译水平越来越垃圾啦= = abstract 我们介绍啦一个新的技术用来从一个预训练的深度神经网络迁移知识到另一个DNN。考虑到DNN通过一层一层的网络实现从输入空间到输出空间到匹配，我们定义蒸馏的知识以流的形式在层之间传播，这个流是通过计算两层之...
Knowledge Distillation
zhangjf26的博客
08-07 5171
从模型压缩的角度调查了有关蒸馏相关的进展。与视觉应用型论文不同模型压缩的论文开源的比例并不多，相比较之下蒸馏相关工作算是开源比例大的。下面主要从是否开源或实现两方面按照发表时间列出相关论文和实现。并在有源码实现了论文中做了进一步相关方法的调查。 ##一、知识蒸馏相关论文和进展survey：（开源或有第三方实现） 2014-NIPS-Do Deep Nets Really Need to be...
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5231
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
知识蒸馏Knowledge Distillation论文汇总
Gillian_z
02-14 1964
FITNETS: HINTS FOR THIN DEEP NETS 论文链接 该论文扩展了知识蒸馏的方法，student网络比teacher更深、更“瘦”，不仅使用teacher的输出作为训练student的soft targets，而且使用teacher学到的中间表示(intermediate representations)作为hint，改进学生的训练过程和最终表现。更深的模型泛化性能更好，使...
Knowledge Distillation(3)——A Gift from Knowledge Distillation
judgechen1997的博客
09-20 934
A Gift from Knowledge Distillation:Fast Optimization, Network Minimization and Transfer Learning 论文阅读Method Method 作者打了个比方，对于人类，老师教学生做题时，一个中间的结果并不重要，我们更应该学习的是解题流程。 这也是本文的核心idea，不拟合大模型的输出，而是去拟合大模型层与层之间...
A Gift from Knowledge Distillation（2017 CVPR）----论文笔记
落了一地秋的博客
09-08 664
A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning（2017 CVPR）Abstract1. Introduction贡献2. Related Work3. Method3.1. Proposed Distilled Knowledge3.2. Mathematical Expression of the Distilled Knowledge3.3. Loss f
FSP：Flow of Solution Procedure (CVPR 2017) 原理与代码解析
00000cj的博客
02-27 979
本文将神经网络中层与层之间的信息流动定义为需要蒸馏的知识，并通过计算两个特征层之间的内积来得到这种知识。
收藏 | 一文带你总览知识蒸馏，详解经典论文
AI科技大本营
01-04 3127
「免费学习 60+ 节公开课：投票页面，点击讲师头像」作者：凉爽的安迪来源 | 深度传送门（ID：deep_deliver）【导读】这是一篇关于【知识蒸馏】简述的文章，目的是想对自己对于...
CVPR2017 all paper list
一亩半分地
07-26 2万+
本文给出了CVPR2017的最新的paperlist
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
深度神经网络加速和压缩
XSYYMY的博客
08-21 3570
模型加速与压缩方法分类总结 • Low-Rank • Pruning • Quantization • Knowledge Distillation • Compact Network Design   Low-Rank Previous low-rank based methods: • SVD - Zhang et al., “Accelerating Very Deep Conv...
闲话模型压缩之量化（Quantization）篇
世事难料，保持低调
06-25 7万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
When Object Detection Meets Knowledge Distillation: A Survey
最新发布
04-03
def knowledge_distillation(student_model, teacher_model, dataloader): optimizer = Optimizer(student_model.parameters()) for data in dataloader: inputs, targets = data # 计算教师模型输出作为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值