FitNets: Hints for Thin Deep Nets

最新推荐文章于 2023-09-26 22:29:45 发布
最新推荐文章于 2023-09-26 22:29:45 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： Knowledge Distillation 深度学习 论文学习笔记 文章标签： Knowledge Distillation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013010889/article/details/103075871
版权

其实应该先早点写这篇文章的

这篇文章主要是将hinton的output distillation扩展到了feature distillation
在这里插入图片描述
在这里插入图片描述
该loss用来拉进student和teacher feature的距离在这里插入图片描述
该loss就是与hard label、soft label做cross entroy
训练过程需要注意：

  1. 先进行hints training，即选择某一层feature对齐后，利用HT loss训练该层前面的参数
  2. 固定前面的参数，利用KD loss，训练整个网络
爆米花好美啊
关注
专栏目录
FITNETS: Hints For Thin Deep Nets论文初读
m0_37665984的博客
11-25 1830
目录 摘要 引言 方法 KD的回顾 提出基于Hint的训练方式（应该就是CL） 与CL训练的关系 实验结果（挑选的有意思的） 实验分析 结论 摘要 不仅仅用到了输出，还用到了中间层作为监督信息 让学生网络变得更深的同时，让它变的更快 引言 之前蒸馏的做法： 之前一篇论文是用集成的模型作为老师模型，来得到一个更宽但更浅的网络； 另一篇论文是将老师模型的输出的...
深度学习论文：Deep Residual Learning for Image Recognition
热门推荐
人生当苦无妨
02-04 1万+
论文： He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016. Abstract 深度神经网络难以训练，本文提出残差块来简化比以往深很多网络的训...
模型加速一:知识蒸馏(Knowledge Distillation)
qq_36086861的博客
03-08 3397
一 背景 知识蒸馏（KD）是想将复杂模型（teacher）中的dark knowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现，而student则更为紧凑。通过知识蒸馏，希望student能尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。Hinton在Distilling the Knowledge in a Neural...
Knowledge Distillation(2)——FitNets: Hints for Thin Deep Nets
judgechen1997的博客
09-20 2613
概述 在Hinton教主挖了Knowledge Distillation这个坑后，另一个大牛Bengio立马开始follow了，在ICLR发表了文章FitNets: Hints for Thin Deep Nets 这篇文章的核心idea在于，不仅仅是将teacher的输出作为knowledge，在一些中间隐含层的表达上，student也要向teacher学习： 由于teacher和studen...
FitNets: Hints for Thin Deep Nets 原理与代码解析
00000cj的博客
02-08 2471
首先介绍知识蒸馏的原理，教师网络 \(T\) 的softmax输出 \(P_{T}=softmax(a_{T})\)，其中 \(a_{T}\) 是教师网络pre-softamx的激活向量，\(S\) 表示一个学生网络，网络参数为 \(W_{S}\)，输出概率 \(P_{S}=softmax(a_{S})\)，学生网络同时在教师网络的输出 \(P_{T}\) 和标签 \(y_{true}\) 的监督下进行训练，为了提供更多的信息还引入了温度 \(\tau >1\)，如下学生网络的优化损失函数如下。
深度学习论文笔记（知识蒸馏）—— FitNets: Hints for Thin Deep Nets
菜到怀疑人生的博客
12-27 6767
文章目录主要工作知识蒸馏的一些简单介绍 主要工作 让小模型模仿大模型的输出（soft target），从而让小模型能获得大模型一样的泛化能力，这便是知识蒸馏，又称为模型压缩，本文在Hinton提出knowledge distillation方法（下文简称KD）的基础进行扩展，利用teacher模型特征提取器的中间层输出作为hints，结合KD，对比teacher模型更深但更窄的student模型进...
每日论文230926--FITNETS: HINTS FOR THIN DEEP NETS
最新发布
qq_19859865的博客
09-26 173
阅读论文的想法时，很自然的会想到一个问题，teacher model和student model的中间层维度和含义如何能对应呢？并且，用全链接的方式与中间层建立连接虽然容易想到，但是却造成了计算量的增加，而使用卷积层似乎是个更好的选择。论文使用的方法直觉上来讲也是直接的：既然网络很深直接训练会困难，那就通过在中间层加入loss的方法，如此分成两块来训练，应该能得到更好的结果。它的主要思想如下：使用更深和更细的student model可以获得更好的结果，并且使用中间层 的输出作为提示。
FitNets: Hints for thin deep nets论文笔记
qq_43812519的博客
04-05 2330
论文地址：https://arxiv.org/abs/1412.6550 github地址：https://github.com/adri-romsor/FitNets 这篇文章提出一种设置初始参数的算法，目前很多网络的训练需要使用预训练网络参数。对于一个thin但deeper的网络的训练，作者提出知识蒸馏的方式将另一个大网络的中间层输出蒸馏到该网络中作为预训练参数初始化网络。 Motivatio...
论文翻译：2021_Towards model compression for deep learning based speech enhancement
www_xuhss_com的博客
04-08 1554
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 目录 摘要1  引言2  算法描述A  基于DNN的语音增强B  迭代非结构化和结构化剪枝C  稀疏正则化D  基于聚类的量化3  实验步骤A  数据处理B&nbsp
【论文笔记】Highway Network: Training Very Deep Networks (2015)
记录每一次小小的进步
02-18 637
这篇论文提出了著名的Highway Network，用于解决深层网络的训练问题。这个结构已经得到了广泛的应用，也有很多资料。我之所以阅读这篇五年前的论文，主要是看现在的资料觉得对网络的结构理解的还是比较浅，于是想看看发明者的思路，在这里对收获做了一些总结。 1.介绍 网络深度的增加会为网络带来更多的表现力，但网络深度同时也让网络很难去训练。在这篇论文之前，解决方案大致从这几个方面出发： 优化器：...
(ResNet)Deep Residual Learning for Image Recognition
chenaxin的博客
10-19 521
论文地址：https://arxiv.org/abs/1512.03385 摘要   越深的神经网络训练起来越困难。本文展示了一种残差学习框架，能够简化使那些非常深的网络的训练，该框架使得层能根据其输入来学习残差函数而非原始函数（unreferenced functions）。本文提供了全面的依据表明，这些残差网络的优化更简单，而且能由更深的层来获得更高的准确率。本文在ImageNet数据集上使用了一个152层深的网络来评估我们的残差网络，虽然它相当于8倍深的VGG网络，但是在本文的框架中仍然只具有很低的复
「Deep Learning」Note on Deeply-Fused Nets
小锋子Shawn
04-04 842
Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/79765090
知识蒸馏（Distillation）相关论文阅读（3）—— FitNets : Hints for Thin Deep Nets
Lucifer_zzq的博客
03-28 6172
知识蒸馏相关论文目录导读：Geoffry Hinton —— Distilling the knowledge in a neural networkSaurabh Gupta —— Cross Model Distillation for Supervision TransferAdriana Romero —— Hints for Thin Deep Nets—————————————————...
知识蒸馏 | (1) 知识蒸馏概述
sdu_hao的博客
03-18 3475
原文地址 这是一篇关于【知识蒸馏】简述的文章，目的是想对知识蒸馏学习的内容和问题进行总结。笔者挑选了部分经典的paper详读，希望对于对KD有需求的同学提供一个概览和帮助。 引子 昆虫记里写道：”蝴蝶以毛毛虫的形式吃树叶积攒能量逐渐成长，最后变换成蝴蝶这一终极形态来完成繁殖”。虽然蝴蝶和毛毛虫两者本质是同一种生物，但是面对不同环境和任务的时候，形态不同——毛毛虫形态下可以更方便地吃树叶，保护自己，...
面向大规模神经网络的模型压缩和加速方法
Paper weekly
06-17 778
©PaperWeekly 原创 ·作者 |林野单位 |机器翻译学堂▎本文作者介绍：林野，东北大学自然语言处理实验室 2019 级博士生，研究方向：机器翻译、模型压缩、模型加速。▎东北大学自然语言处理实验室：东北大学自然语言处理实验室由姚天顺教授创建于 1980 年，现由朱靖波教授领导，长期从事计算语言学的相关研究工作，主要包括机器翻译、语言分析、文本挖掘等。在神经网络...
知识蒸馏综述：代码整理
pprp的博客
12-13 2971
【GiantPandaCV导语】收集自RepDistiller中的蒸馏方法，尽可能简单解释蒸馏用到的策略，并提供了实现源码。 1. KD: Knowledge Distillation 全称：Distilling the Knowledge in a Neural Network 链接：https://arxiv.org/pdf/1503.02531.pdf 发表：NIPS14 最经典的，也是明确提出知识蒸馏概念的工作，通过使用带温度的softmax函数来软化教师网络的逻辑层输出作为学生网络的监督信息， q
知识蒸馏 knowledge distill 相关论文理解
Golden-sun的博客
10-12 1731
Knowledge Distil 相关文章1.A Gift from Knowledge Distillation：Fast Optimization, Network Minimization and Transfer Learning (CVPR 2017) 1.A Gift from Knowledge Distillation：Fast Optimization, Network Minimization and Transfer Learning (CVPR 2017) 主要贡献： 1.提出了一种
知识蒸馏(Knowledge Distillation)、半监督学习(semi-supervised learning)以及弱监督学习(weak-supervised learning)
761527200_leili的博客
04-16 8492
一.知识蒸馏 1.知识蒸馏 （1）首先，我先强调一下蒸馏学习其实本质是模型压缩！模型压缩！模型压缩！S模型有的精度高于T模型，有的低于T模型，但是可以很好地压缩网络体积。 （2）知识蒸馏是由Hiton的Distilling the Knowledge in a Neural Network 论文地址提出，并通过引入与教师网络（Teacher Network：网络结构复杂，准确率高 一般是我们的 B...
Oracle SQL优化：hints与执行计划解析
"本文主要介绍了Oracle数据库中关于存储路径的优化技巧，特别是通过使用hints来干预查询执行计划。文中提到了几种常用的hints，如FULL、ROWID、INDEX、INDEX_FFS和NO_INDEX，以及它们在查询优化中的作用。同时，文章...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值