- 博客(3)
- 收藏
- 关注
RSS订阅原创 深入浅出：Knowledge Distillation by On-the-Fly Native Ensemble
简述：这是一篇关于知识蒸馏的论文，知识蒸馏可有效地训练小型通用网络模型，以满足低内存和快速运行的需求。现有的离线蒸馏方法依赖于训练有素的强大教师，这可以促进有利的知识发现和传递，但需要复杂的两阶段训练程序。作者提出了一种用于一阶段在线蒸馏的动态本地集成（ONE）学习策略。具体来说，ONE只训练一个单一的多分支网络，而同时动态地建立一个强大的教师来增强目标网络的学习。模型overviewONE体系结构如上图所示。ONE包含两个组件：（1）m个具有相同配置的分支。其中每个分支共享低层的.
2020-05-23 21:54:34
1114
原创 解耦表征与分类器：DECOUPLING REPRESENTATION AND CLASSIFIER FOR LONG-TAILED RECOGNITION（ICLR2020）
简介 论文出自ICLR2020，新加坡国立大学和 Facebook AI联合著作。代码：https://github.com/facebookresearch/classifier-balancing.摘要 视觉世界的长尾分布对于基于深度学习的分类模型如何处理类不平衡问题提出了巨大的挑战。现有的解决方案通常涉及类平衡策略，例如通过损失加权，数据重新采样或将学习从头到尾的类迁移到其他类别，但其中大多数坚持联合学习表示和分类的方案。在这项工作中，我们将学习过...
2020-05-23 21:44:46
4799
原创 AdaptiveFace: Adaptive Margin and Sampling for Face Recognition 阅读笔记
第一次写博客，写博客的念头早就有了，但迟迟因为拖延症没有实现。今天打铁趁热，刚看完这篇论文，顺势来写一个博客！写博客的原因是想回头看这篇论文的时候，看一下博客就可以想起这篇论文的要点了。希望陆陆续续把接下来看的论文都在博客上和大家进行分享，也希望和大家一起交流。也想回头把之前看的论文的笔记也post上来，先立个flat吧！本人目前在研究不平衡数据的分类，接下来的博客估计大多与此相关，希...
2020-04-29 21:25:47
848
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人