- 博客(3)
- 收藏
- 关注
RSS订阅原创 Towards Oracle Knowledge Distillation with Neural Architecture Search论文笔记
目录IntroductionApproach提出了基于Oracle的知识蒸馏框架，并引入了Oracle知识蒸馏损失Loss知识蒸馏框架下的最佳模型搜索LSTM控制器SummaryIntroduction知识蒸馏在2015年被提出，核心概念就是从一个集成网络模型或者大模型移植到一个容量较小的模型中，同时精度也不会有太多下降。知识蒸馏定义了一个新的学习范式，不同于以往的深度学习模型，知识都是直接从ground truth中提取，而在知识蒸馏中，学生网络去学习教师网络从..
2021-03-18 16:17:59
288
转载 Single Path One-Shot Neural Architecture Search with Uniform Sampling论文笔记
目录IntroductionOne-shot NAS方法回顾ApproachSingle one-shot and uniform sampleSuper Net and Choice Block基于进化算法的模型搜索Summary论文地址如下：https://arxiv.org/search/?query=Single+Path+One-Shot+Neural+Architecture+Search+with+Uniform+Sampling&search.
2021-03-18 14:10:41
362
原创 Blockwisely Supervised Neural Architecture Search with Knowledge Distillation 论文笔记
Blockwisely Supervised Neural Architecture Search with Knowledge Distillation 论文笔记最近在开始研究NAS神经网络搜索的一些工作，NAS是未来发展的一个方向，目前的发展还有很多不完善的地方，那么我希望能多读一读NAS方向的前沿的一些论文并完成一些论文笔记和大家分享一下，共同进步，有不正确的地方欢迎大家在评论区指正！论文原文地址如下https://arxiv.org/search/?query=Blockwisel.
2021-03-18 13:42:01
458
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人