- 博客(4)
- 收藏
- 关注
RSS订阅原创 Knowledge Distillation Meets Self-Supervision——知识蒸馏论文阅读
在本研究中，我们首次尝试将自我监督与知识蒸馏相结合，提出了一个新的框架SSKD。它采用对比预测作为辅助任务，帮助从教师网络中提取更丰富的知识。设计了一种选择性转移策略来抑制教师知识中的噪声。我们通过在CIFAR100和使用各种架构的ImageNet上进行彻底的实验来检验我们的方法。我们的方法实现了最先进的性能，证明了我们方法的有效性。进一步的分析表明，我们的SSKD可以使学生更接近老师，在少镜头和噪声标签的情况下工作良好。
2022-11-14 18:41:50
453
4
原创 Training Shallow and Thin Networks for Acceleration via Knowledge Distillation with Conditional Adve
本文研究了网络加速的师生策略。提出了一种基于gan的学习损失的方法，将知识从老师传递给学生。研究表明，基于gan的方法可以提高学生网络的训练效果，尤其是在学生网络较浅、较薄的情况下。此外，我们还实证研究了采用现代网络作为学生时网络容量的影响，为合理选择学生以平衡错误率和推理时间提供了指导。在特定的环境下，我们可以训练一个比老师小7倍，快5倍的学生，而不会失去准确性。
2022-11-11 15:47:16
405
原创 Relational Knowledge Distillation——知识蒸馏论文阅读
知识蒸馏旨在将从一个模型(教师)中获得的知识转移到另一个模型(学生)中，这个模型通常更小。以前的方法可以表示为一种训练学生模仿教师所代表的个别数据示例的输出激活的形式。我们引入了一种新的方法，称为关系知识蒸馏（RKD）,它转移数据实例之间的相互关系。对于RKD的具体实现，提出了距离和角度的蒸馏损失，惩罚结构差异的关系
2022-11-09 16:48:58
655
1
原创 A Gift from Knowledge Distillation: Fast Optimization, Network Minimization and Transfer Learning
提出了一种从DNN中提取知识的新方法。该方法将提取的知识确定为用所提出的FSP矩阵计算的求解过程的流程，优于现有的知识转移方法。从三个重要方面验证了所提方法的有效性。该方法优化了DNN，提高了性能。此外，该方法可用于迁移学习任务
2022-11-02 11:54:33
524
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人