FitNets: Hints for Thin Deep Nets：feature map蒸馏

最新推荐文章于 2024-04-18 09:04:38 发布
最新推荐文章于 2024-04-18 09:04:38 发布
阅读量1.2k 收藏 5
点赞数
分类专栏： XAI 文章标签： 深度学习 计算机视觉 cnn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lt1103725556/article/details/122294512
版权

深度学习 特征映射 知识蒸馏 卷积层 训练策略
关键词由CSDN通过智能技术生成

在这里插入图片描述
这篇就比较简单了，就是从中间选一层feature map出来，T和S做个Loss来训S，训好了再用KD再训一遍S
这里有个问题，文中用的S和T的宽度不一样(输出feature map的channel不一样)，因此第一阶段还需要在S的feature map后加一个卷积层调channel和size。
在这里插入图片描述
论文里好像就是用的普通的卷积，也没提到padding操作，这样的话就要求N_g>N_h了，也就是S的feature size>T的feature size?

二阶段

第一阶段训上面的这个feature map的loss，第二阶段训普通的KD loss，实际上第一阶段就只训选的feature 层的前面的那部分网络，第二阶段是全部训。

关于feature map层的选取，作者是直接选取的两个网络的最中间的那一层

md看半天别人的博客写的稀里糊涂浪费时间，还不如自己读一下论文，别人论文里写的还是挺清楚的

Rainylt
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
目标检测中的知识蒸馏方法
dnty00的博客
07-27 1万+
知识蒸馏 知识蒸馏指的是模型压缩的思想，用压缩之前的模型作为老师，压缩之后的模型作为学生，通过一步一步地使用一个较大的已经训练好的网络去教导一个较小的网络确切地去做什么。“软标签”指的是大网络在每一层卷积后输出的feature map。然后，通过尝试复制大网络在每一层的输出(不仅仅是最终的损失)，小网络被训练以学习大网络的准确行为。 ...........................
FITNETS: Hints For Thin Deep Nets论文初读
m0_37665984的博客
11-25 1811
目录 摘要 引言 方法 KD的回顾 提出基于Hint的训练方式（应该就是CL） 与CL训练的关系 实验结果（挑选的有意思的） 实验分析 结论 摘要 不仅仅用到了输出，还用到了中间层作为监督信息 让学生网络变得更深的同时，让它变的更快 引言 之前蒸馏的做法： 之前一篇论文是用集成的模型作为老师模型，来得到一个更宽但更浅的网络； 另一篇论文是将老师模型的输出的...
Feature-map-level Online Adversarial Knowledge Distillation论文笔记
qq_43812519的博客
03-01 1283
Feature-map-level Online Adversarial Knowledge Distillation论文笔记 论文地址：https://arxiv.org/abs/2002.01775v1 github地址：未公布 Motivation Feature maps中包含丰富的空间相关性等图像信息，但是在分类任务上，过去的online Knowledge Distillation只利...
FitNets:FitNets
06-06
FitNets FitNets：薄深度网络的提示 运行 FitNets 阶段性训练：THEANO_FLAGS="device=gpu,floatX=float32,optimizer_including=cudnn" python fitnets_training.py fitnet_yaml regressor -he hints_epochs -lrs lr_scale fitnet_yaml：FitNet yaml 文件的路径， regressor：回归器类型，卷积（conv）或全连接（fc）， 可选参数 -he hints_epochs: int - 训练第一阶段的时期数。 默认设置为无。 使用验证集确定时期数时保留为无。 使用整个训练集时设置为 X。 可选参数 -lrs lr_scale: float - 在第二阶段应用于预训练层的学习率缩放器。
FitNets: Hints for Thin Deep Nets 原理与代码解析
00000cj的博客
02-08 2164
首先介绍知识蒸馏的原理，教师网络 \(T\) 的softmax输出 \(P_{T}=softmax(a_{T})\)，其中 \(a_{T}\) 是教师网络pre-softamx的激活向量，\(S\) 表示一个学生网络，网络参数为 \(W_{S}\)，输出概率 \(P_{S}=softmax(a_{S})\)，学生网络同时在教师网络的输出 \(P_{T}\) 和标签 \(y_{true}\) 的监督下进行训练，为了提供更多的信息还引入了温度 \(\tau >1\)，如下学生网络的优化损失函数如下。
深度学习论文笔记（知识蒸馏）—— FitNets: Hints for Thin Deep Nets
菜到怀疑人生的博客
12-27 6566
文章目录主要工作知识蒸馏的一些简单介绍 主要工作 让小模型模仿大模型的输出（soft target），从而让小模型能获得大模型一样的泛化能力，这便是知识蒸馏，又称为模型压缩，本文在Hinton提出knowledge distillation方法（下文简称KD）的基础进行扩展，利用teacher模型特征提取器的中间层输出作为hints，结合KD，对比teacher模型更深但更窄的student模型进...
PRUNING WITH HINTS: AN EFFICIENT FRAMEWORKFOR MODEL ACCELERATION
10-26
为了解决这一问题，本文提出了一种名为“PRUNING WITH HINTS”的高效框架，它结合了剪枝和知识蒸馏的优势，以实现模型加速的同时保持高性能。 知识蒸馏是一种将大型的、复杂的教师模型（Teacher Model）的知识转移...
提示：for网络提示引擎
02-04
网络提示 快速入门用户指南 webhint是一个可自定义的整理工具，可通过检查代码中的最佳做法和常见错误来帮助您提高网站的可访问性，速度，跨浏览器兼容性以及其他功能。 它可以从命令行（CLI），通过，作为以及从。...
root-hints:提供DNS根服务器的IP地址，也称为根提示
05-07
$ npm i root-hints 用法 const rootHints = require ( 'root-hints' ) ; rootHints ( 'A' ) ; // ['198.41.0.4', '192.228.79.201', ...] rootHints ( 'AAAA' ) ; // ['2001:503:BA3E::2:30', '2001:500:84::B', .....
vue-dom-hints:Vue devtool，用于在DOM中标识Vue组件及其SFC路径
05-01
:rocket: 安装npm i vue-dom-hints :vertical_traffic_light: 设置将其作为安装到Vue： import DomHints from 'vue-dom-hints'Vue . use ( DomHints ) 在构建中将其禁用以进行生产： if ( process . env . NODE_ENV...
一个知识蒸馏的简单介绍，一看就懂
AI公园
08-27 882
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Prakhar Ganesh编译：ronghuaiyang导读对教师学生网络进行一个初步的了解。什么是知识蒸馏？近年来，神...
论文精读--FitNets
最新发布
m0_73202283的博客
04-18 661
相较于KD方法，为学生添加教师的中间层对比(映射到同一维度)，改善学生的性能，训练一个更深的学生网络。
知识蒸馏 | 知识蒸馏的算法原理与其他拓展介绍
Clichong
03-19 6800
如有错误，恳请指出。 这篇博客将记录我看视频后对知识蒸馏的笔记，视频链接见参考资料[1]，其中包含知识蒸馏的算法原理（训练流程与测试流程），以及知识蒸馏能够正常工作的背后机理与其发展的趋势及展望。 在这篇博客中，主要都是介绍没有涉及具体的代码，我另外还将会记录一下知识蒸馏的测试过程，见另外的一篇博客。 文章目录框架1. 知识蒸馏的算法原理1.1 知识的表示与迁移1.2 训练流程1.3 推理过程1.4 KD与Labe Smoothing的区别2. 知识蒸馏的应用场景3. 知识蒸馏的背后机理4. 知识蒸馏.
神经网络压缩综述
yuanCruise
05-04 1万+
1.研究背景 对模型预测精度无明显影响 压缩模型的参数数量、深度来降低模型空间复杂度 全连接层参数多，模型大小由全连接层主导 不显著提高训练时间复杂度，降低预测时间复杂度（计算量） 卷积层计算量大，计算代价由卷积操作主导 2.方法 2.1.更精细模型的设计 Aggregated Residual Transformations for Deep Neural Networ...
一文搞懂知识蒸馏
qq_31405629的博客
08-24 1万+
关注公众号"DataPlayer"重磅机器学习干货，第一时间送达知识蒸馏（Knowledge Distilling），你或许在吃饭的间隔，在电梯间的片刻，多多少少都听身边...
[总结]神经网络・压缩 compression(cnn,rnn)
apsvvfb的专栏
04-17 2058
distillation:papers:NIPS2014_Distilling the Knowledge in a Neural Network_Hiton FitNets: Hints for Thin Deep Nets Dropout Distillation Distilling Knowledge to Specialist Networks for Clustered Class
teacher-student network
dwyane12138的博客
12-03 1万+
最近读到一篇文章《An On-device Deep Neural Network for Face Detection》，讲的是苹果如何将基于深度学习的人脸识别方法应用到iPhone上，同时解决多任务并行及能耗的问题。文中提到了一个teacher-student network的概念。概括地讲，就是用一个更宽更复杂的，但是已经训练好的神经网络（教师网络），去训练另一个窄而深的网络（学生网络）
深度学习模型压缩方法综述（三）
热门推荐
小时候贼聪明
07-24 2万+
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
Oracle SQL Hints：优化与调优技术详解
以下是一些常见的Oracle SQL Hints： 1. 访问路径提示：这些提示用于指定数据访问方法，例如： - `CLUSTER`：使用集群索引来访问数据。 - `HASH`：使用哈希连接操作。 - `ROWID`：直接通过ROWID访问行。 - `...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值