Do Deep Nets Really Need to be Deep?

最新推荐文章于 2024-09-10 15:29:42 发布
最新推荐文章于 2024-09-10 15:29:42 发布
阅读量146 收藏
点赞数
文章标签： 深度学习 模型蒸馏 蒸馏学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35226955/article/details/116241602
版权
本文探讨了一种使用大模型（如DNN和CNN）指导小模型（SNN）学习的方法，称为模仿学习（MIMIC）。通过大模型的softmax输出作为软标签来监督小模型的训练，提高了小模型的性能，甚至SNN-MIMIC-400k在某些情况下超过了大模型。此外，作者还通过分解FC层来减少参数数量，降低了模型复杂度，同时保持了良好性能。
摘要由CSDN通过智能技术生成

在这里插入图片描述
大模型带小模型去学，小模型也能学出小模型一样复杂的函数，一样好的性能，但参数少得多

  • 大模型DNN：输入，FC2000，FC2000，FC2000， FC183
  • CNN模型：输入，Conv，maxpool，FC2000， FC2000， FC2000， FC183
  • 小模型(shallow)SNN：输入，FC8000，FC183

输入：1845d

方法：大模型预测的softmax输出直接送给小模型当GT学

模型效果：
在这里插入图片描述

  • SNN-8k就是结构：输入，FC8000，FC183
  • SNN-50k就是结构：输入，FC50000，FC183
  • SNN-400k就是结构：输入，FC400000，FC183

都表示直接用这个浅的模型在训练集上学习，效果差点意思，学不了那么好

DNN和CNN就是之前说的那个

  • SNN-MIMIC-8k就是结构：输入，FC8000，FC183
  • SNN-MIMIC-400k就是结构：输入，FC400000，FC183

区别是带了MIMIC的表示模仿学习，即不直接在训练集上训练SNN，而是用DNN或CNN预测的结果来监督SNN，由于预测的结果是(0.1,0.3,0.2,0.4)这种soft的标签，比(0,0,0,1)这种hard标签好学一些，因此效果更好。而且SNN-MIMIC-400k学的结果甚至超过DNN了

最后，为了降低模型复杂度，作者还通过将”FC100，FC100“拆分为"FC(100),FC(10),FC(100)"这种操作来节省参数，参数从O( 100 ∗ 100 100*100 100∗100)变为O( 100 ∗ 10 + 100 ∗ 10 100*10+100*10 100∗10+100∗10)

MindAndHand
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《Do Deep Nets Really Need to be Deep?》精读笔记
zxdxyz的专栏
10-22 3893
文献： [1]Lei JimmyBa, Rich Caruana.Do DeepNets Really Need to be Deep?NIPS 2014
《Do Deep Nets Really Need to be Deep》论文阅读
Loy Fan
04-09 330
https://arxiv.org/abs/1312.6184 Lei Jimmy Ba, Rich Caruana NIPS 2014 引用量-964 深层神经网络的性能相比浅层网络提升是因为什么？ 更多参数 可以在给定相同数量参数的情况下学习更复杂的函数 具有更好的归纳偏差，可以学习更有用的功能，学习层次表示 非卷积网络很难学习到卷积网络学习到的特征表示 当前的优化算法和正则化方法在深层...
"Do Deep Nets Really Need to be Deep?"阅读笔记
ubunfans的专栏
06-13 3254
这篇文章的主要是思路就是使用一个shallow model 去模仿deep model，使shallow model达到deep model的精度。从原始训练样本训练一个shallow net达到deep net相同的精度是很困难的事情，paper提出了shallow net 使用deep net的结果作为标签。1作者在第一部分提出了几个问题值得思考一下，给定一个1M 训练样本，网络A使用只有一个隐
Do Deep Nets Really Need to be Deep
Ben_Ben_Niao
01-05 862
今天我们要谈论的文章为： Lei Jimmy Ba, and Rich Caurana. Do Deep Nets Really Need to be Deep?. ICLR2014 openreview中有下载链接和讨论： http://openreview.net/document/9a7247d9-d18e-4549-a10c-ca315d84b6db#9a7247d9-d
Do Deep Convolutional Nets Really Need to be Deep and Convolutional
01-17
随着深度学习技术的发展，深度卷积神经网络（Deep Convolutional Neural Networks, DCNNs）在计算机视觉、自然语言处理等多个领域取得了显著成果。然而，关于DCNNs的成功是否完全归功于其深度与卷积特性一直存在争议...
神经网络压缩：Mimic（一）Do Deep Nets Really Need to be Deep
cookie_234的博客
05-02 3111
Do Deep Nets Really Need to be Deep? 论文链接： http://arxiv.org/abs/1312.6184文章主旨 Shallow feed-forward nets can learn the complex functions previously learned by deep nets
【论文笔记】AdderNet: Do We Really Need Multiplications in Deep Learning?
LoveKKarlie_的博客
12-11 355
AdderNets来交换深度神经网络（尤其是CNN）中这些大规模乘法运算，以更简单的加法来减少计算成本。
Distillation论文总结（1）Do Deep Nets Really Need to be Deep?
volga_chen的博客
12-12 525
论文地址: NIPS2014; arxiv. 论文目录Do Deep Nets Really Need to be Deep?引言模仿学习训练浅层网络模型压缩用L2Loss回归来模仿学习引入线性层加速模仿学习TIMIT Phoneme Recognition目标检测: CIFAR-10讨论为什么蒸馏比直接训练原数据好浅网络的表征能力并行分布处理VS深度顺序处理未来工作结论 Do Deep Nets...
每日论文230927--Do Deep Nets Really Need to be Deep?
qq_19859865的博客
09-27 64
时间： NIPS 2014链接：作者在论文开始就提出了发人深省的连环问题因为更深的网路拥有更多的参数？因为更深的网络可以学习更复杂的功能？即使参数量一致因为更深的网络可以学习结构性的表征，因为它具有inductive bias？因为更深的网络具有卷积层？因为现有的学习算法和正则方法更适合深的网络？和以上提到的所有原因都有关系？或者都没有联系？这篇论文想证明浅的网络同样可以学习深度网络同样的功能，只不过参数是一样多的。
神经网络压缩：Mimic（二）Distilling the Knowledge in a Neural Network
cookie_234的博客
06-09 7763
转载请注明出处：西土城的搬砖日常
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记
啊呀哦哟的博客
11-07 1166
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记 相比之下，我们的工作是对单一图像的表情识别，并将重点分析网络学习到的特征。因此，我们不仅将证明CNN对现有表情分类基线的有效性，而且我们还将定性地表明，该网络能够学习人脸图像中对应于面部动作单元(FAUs)的空间模式。
pycharm调试知识， 线程进程与深度学习
小泽爱刷题的博客
09-10 837
多线程在深度学习中主要用于I/O 密集型任务，如数据加载和预处理，以防止数据成为训练过程中的瓶颈。多进程常用于克服 GIL 的限制，处理 CPU 密集型任务，以及在分布式训练中并行化模型训练。GPU 并行计算是深度学习的核心，主要负责大规模矩阵运算和模型训练，并行性是由 GPU 硬件架构提供的，而不是通过 Python 的多线程机制。因此，深度学习中多线程的应用主要集中在数据加载、推理服务和辅助任务，而核心计算则由 GPU 完成并行化处理。多进程。
【大模型专栏—入门篇】机器学习与深度学习基础测试
文艺倾年的博客
09-10 1468
在前向传播过程中，模型各个层的参数w和层的输入输出都是fp16，但是fp16的精度不够，无法表示特别小的数值，这会导致在进行梯度更新的时候，梯度值下溢，导致被调整参数没有变化。因此，合理选择缩放因子和监测训练过程中梯度的变化是非常重要的。，当GPU显存不够充足的情况下，较大的Batch size会导致OOM，因此，需要针对实际的硬件情况，设置合理的Batch size取值。对于所有wi都是一样的，xi是i-1层的激活函数的输出，如果像sigmoid一样，输出值只有正值，那么对于第i层的所有wi，其。
【Python机器学习】循环神经网络（RNN）——审察模型内部情况
最新发布
weixin_39407597的博客
09-10 411
Keras附带了一些工具，比如model.summary()，用于审察模型内部情况。随着模型变得越来越复杂，我们需要经常使用model.summary()，否则在调整超参数时跟踪模型内部的内容的变化情况会变得非常费力。
深度学习：怎么看pth文件的参数
weixin_59815450的博客
09-07 373
你需要有创建这个.pth文件时所用的模型的代码。这意味着你需要有模型的类定义和架构。
【深度学习讲解笔记】第1章-机器学习基础（3）
i156456365的博客
09-10 291
回顾我们之前构造复杂函数的方法：我们根据分段曲线逼近任意曲线原理，使用可导的sigmoid函数，通过调整b1, w1, c1, ..., bn, wn, cn的值，并将这些形状各异的sigmoid函数相加就可以逼近一条效果较好的函数曲线，这样的曲线减少了指数，对数，幂指数等对函数走向的限制，更加灵活。神经网络通常有很多层，这更加提升了机器学习得到复杂函数的能力，除了输入层和输出层外，其中夹杂的神经元称为。神经元的输出是一个数值，这个数值还可以连接到其他神经元的尾部作输入，由此将多个神经元连接形成的系统叫。
构建并训练卷积神经网络（CNN）对CIFAR-10数据集进行分类
异构算力老群群（在读985计算机博士生）的技术博客
09-06 1388
接下来，我们定义一个简单的卷积神经网络。该网络包含三个卷积层，两个池化层，以及两个全连接层。self.fc1 = nn.Linear(64 * 8 * 8, 64) # 考虑到池化层后的尺寸return x。
基于Deep Belief Nets的中文名实体关系抽取研究
基于Deep Belief Nets的中文名实体关系抽取 基于Deep Belief Nets的中文名实体关系抽取是自然语言处理领域中的一个重要任务。关系抽取是信息抽取的基础任务之一，它的目的是从未标注的文本中自动识别和抽取实体之间...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值