- 博客(4)
- 收藏
- 关注
RSS订阅原创 知识蒸馏（总结篇）
知识蒸馏 （Knowledge Distillation）综述目录知识蒸馏 （Knowledge Distillation）综述0. 导向1.下面将对知识蒸馏做全面的综述性介绍0. 导向关于轻量化网络，目前来说，大致可分成两大块：基于网络架构本身的设计和对模型进行压缩，我自觉网络架构本身设计难于上青天，这块都是Google大佬，facebook大佬等走在最前沿，比如使用NAS的方法去自动寻找对应任务的网络架构，嗯，听起来很玄学。整个轻量型网络目前来说有下面主要工作，直接上图科学理论只有联系实际才能
2021-07-09 08:59:57
14340
6
原创 Transformer在细粒度分类上的应用
TransFG ：Transformer在细粒度分类上的应用一级目录二级目录三级目录一级目录二级目录三级目录
2021-03-30 21:24:19
5334
1
翻译 ENAS
Efficient Neural Architecture Search via Parameter Sharing摘要：高效的神经结构搜索(ENAS)，一种快速和廉价的自动模型设计方法过程：控制器通过在大型计算图中搜索最优子图来发现神经网络体系结构用策略梯度(policy gradient）训练控制器，以选择一个子图，使验证集上的期望回馈最大化。同时，训练对应于所选子图的模型，以最小化典型交叉熵损失。效果：在子模型之间共享参数使ENAS能够提供强大的经验性能，同时使用比现
2020-12-17 17:36:22
716
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人