Born-Again Neural Networks论文初读

最新推荐文章于 2022-11-26 19:41:31 发布
最新推荐文章于 2022-11-26 19:41:31 发布
阅读量4k 收藏 13
点赞数 6
文章标签： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37665984/article/details/103332477
版权

目录

摘要

引言

相关文献

  知识蒸馏

  Resnet和DenseNet

Born-Again Network

  开头

  Selves Born-Again Networks集成的学习顺序

  Dark Knowledge刨析

  对比试验设置

实验结果

  CIFAR-100

  其他对比就略掉把（太麻烦了，没啥用）

结论

摘要

训练一个和teacher参数一样多的student网络，并且准确率超过了teacher网络

提出了两种蒸馏方法：（1）通过teacher max加权置信度 （2）打乱非预测类别的概率分布

这两种方法都用到了KD的组成成分，描述了teacher网络的输出在预测类别和非预测类别上的影响

引言

  • 之前的工作

Born-Again Trees中，通过学习一个tree，来达到多个tree的效果，这个tree拥有所需要的特性，例如宣称的可解释性

KD，利用了非目标类别的隐藏信息，这些知识能帮助模型提升泛化能力

  • KD的分析

KD的损失函数包含两部分：（1）非目标类别的隐藏信息 （2）真实标签信息，这部分的梯度是原来标签梯度的一个缩放

第二部分可以理解为：通过teacher网络基于最大类别的置信度，用重要性权重从真实label出发来训练

实验表明每一部分的重要性旨在量化隐藏信息的贡献

  • 本文的工作

通过回忆 Minsky’s Sequence of Teaching 的方式，本文提出了一种间的重新训练的程序：在teacher网络收敛后，我们再重新初始化一个新的student网络，为了共同的目标--预测label和匹配teacher网络的分布

在DenseNets, ResNets 以及 LSTM-based sequence models上都有效

对于DenseNets，虽然收益递减，但是可以多步骤应用此方法获得收益

DenseNet可以通过这种方法引导ResNets获得超过DenseNet的效果

类似的，ResNets可以通过这种方法引导DenseNet获得超过ResNets的效果

因此弱teacher仍然可以提升student的新能，所以KD不需要一个强的teacher也能有效

相关文献

  知识蒸馏

  • 出于透明性和可解释性

有论文提出用tree压缩神经网和多tree预测器

有论文出于透明性和可解释性，用简单的tree和generalized additive models从teacher网路中迁移知识

有论文出于解释决策，将神经网络蒸馏到tree中

但是这里的透明性和可解释性是什么通常还是模糊不清的

  • KD

有论文提出将集成神经网络的信息压缩到小网络中

有论文提出蒸馏teacher网络的logits

有论文提出用线性映射层来蒸馏teacher网络的中间隐藏层

一篇将ML应用于其他领域的论文飞研究隐藏知识的寻找

有论文训练了16层的网络，然后将其压缩到了5层的网络中

有论文提出将teacher网络的注意力图迁移到stude

最低0.47元/天 解锁文章
待墨痕干
关注
  • 6
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
born-again-neural-network
05-17
去做： 复制纸张 广域网 密集网 在imageNet中测试
born_again_neuralnet:Born-Again神经网络的非官方pytorch实现
05-18
重生神经网络 Born-Again神经网络的非官方pytorch实现。 链接： ： 知识蒸馏（KD）包括将“知识”从一种机器学习模型（教师）转移到另一种机器学习模型（学生）。 通常，教师是具有出色表现的高容量模型，而学生则更为紧凑。 通过传递知识，人们希望在不牺牲过多表现的情况下从学生的紧凑性中受益。 我们从新的角度研究KD：我们不训练模型，而是训练参数化与他们的老师相同的学生。 例子 数据集：cifar-10 基本模型：ResNet-50 训练 $ python train.py --h usage: train.py [-h] [--weight WEIGHT] [--lr LR] [--n_epoch N_EPOCH] [--batch_size BATCH_SIZE] [--n_gen N_GEN] [--r
自知识蒸馏（知识蒸馏二）
weixin_42939529的博客
11-26 1472
知识蒸馏，主要是自蒸馏文章调研
【论文阅读】Born-Again Neural Network
Artistzq的博客
07-04 922
再生神经网络
Knowledge Distillation(10)——Born Again Neural Networks
judgechen1997的博客
09-23 1542
这篇论文不是用作模型压缩的，作者想的是让student超越teacher 其训练方式如下： 实验结果，student超越teacher了：
Born Again
退役ACMer
09-16 356
再不幻想， 做实， 你的改变不需要别人看见， 自己看到就好。杭州赛区ccpc， one month！
Convolutional-Neural-Networks
03-31
卷积神经网络（Convolutional Neural Networks，简称CNN）是一种深度学习模型，广泛应用于计算机视觉领域，如图像分类、目标检测、图像分割等任务。在本项目中，我们将深入探讨和实践CNN在三个具体领域的应用：YOLO...
Passivity analysis of coupled reaction-diffusion neural networks with Dirichlet boundary conditions
02-07
Passivity analysis of coupled reaction-diffusion neural networks with Dirichlet boundary conditions
Domain-Adversarial-Training-of-Neural-Networks:实施神经网络的领域高级训练
05-09
我的代码首先受到启发https://github.com/CuthbertCai/pytorch_DANN神经网络领域专家训练https://arxiv.org/pdf/1505.07818.pdfimplement Domain-Adversarial Training of Neural Networks by pytorch数据集mnist ...
深度学习——名词总结篇
weiwei935707936的博客
08-06 4989
1.Memory: 我的出处：ECN。元学习时提及此方式。 原理：目标域的图片经网络题取出特征向量，存储到memory中;下一次新的即可和上次的做聚类; 公式：(其中是随着epoch不断线性增加的： PS:但为什么新特征的影响会越来越大？) 用处： 1.Domain Adaptation，用新提取出的特征向量和旧的做聚类，可使模型在目标域上的泛化能力增强 ...
模型压缩之蒸馏算法小结
画心
09-11 2623
模型压缩之蒸馏算法小结 文章目录模型压缩之蒸馏算法小结输出配准Distilling the Knowledge in a Neural Network（NIPS 2014）Deep Mutual Learning（CVPR 2018）Born Again Neural Networks（ICML 2018）直接配准拟合注意力图Paying More Attention to Attention: ...
关于知识蒸馏，这三篇论文详解不可错过
AI科技大本营
07-28 5448
作者 | 孟让转载自知乎导语：继《从Hinton开山之作开始，谈知识蒸馏的最新进展》之后，作者对知识蒸馏相关重要进行了更加全面的总结。在上一篇文章中主要介绍了attent...
Transfer Learning[论文合集]
gdtop的个人笔记
04-06 2825
https://handong1587.github.io/deep_learning/2015/10/09/transfer-learning.html Jump to... Papers One Shot Learning Few-Shot Learning Papers Discriminative Transfer Learning with Tree-based Priors ...
深度神经网络导论Introduction to Deep Neural Networks
GarfieldEr007的专栏
04-11 3391
Introduction to Deep Neural Networks Contents Neural Network DefinitionNeural Network ElementsKey Concepts of Deep Neural NetworksExample: Feedforward Networks & BackpropMultiple Linear Regressi
【阅读笔记】Training Deep Neural Networks in Generations: A More Tolerant Teacher Educates Better Students
盏茶AI
03-28 1710
Training Deep Neural Networks in Generations:A More Tolerant Teacher Educates Better Students是CVPR2018的一篇文章，在知识蒸馏方向对于教师模型和学生模型的学习效果进行了进一步的探讨，在阅读本文之前，需要考虑两个问题， (1)为什么教师和学生网络之间的学习会有效？ 注：在知识蒸馏...
CNN_模型压缩加速&移动端部署_蒸馏算法
TigerZ*的博客
01-31 1153
 总结：离线蒸馏重点在使用小网络获得大网络的能力，在线蒸馏在于提升模型的精度和训练时间。 现有的加速库有：Intel的Neural Network Distiller和腾讯的PocketFlow。 一 、离线蒸馏     2014 年Hinton 提出了「dark knowledge」的概念。Dark knowledge，顾名思义，就是隐藏在深度学习表面上所展现出来的网络结构、节点之间的连接...
【AI不惑境】模型压缩中知识蒸馏技术原理及其发展现状和展望
hacker_long的专栏
05-23 1339
大家好，这是专栏《AI不惑境》的第十一篇文章，讲述知识蒸馏相关的内容。进入到不惑境界，就是向高手迈进的开始了，在这个境界需要自己独立思考。如果说学习是一个从模仿，到追随，到创造的过程，那...
cnn理解文章(转)
weixin_37608001的博客
09-04 784
A Beginner’s Guide To Understanding Convolutional Neural NetworksThe Problem Space Image classification is the task of taking an input image and outputting a class (a cat, dog, etc) or a probability
Memory-Augmented Neural Networks和Prototypical Networks哪个更常用
最新发布
07-14
相比之下，Memory-Augmented Neural Networks在元学习领域相对较新，并且在实际应用中使用较少。Memory-Augmented Neural Networks使用外部存储器来保存任务相关的信息，通过注意力机制来读取和写入存储器。这种模型...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值