深度学习基础----知识蒸馏

描述

• 知识蒸馏常用于模型压缩
• 已经训练好的模型A去教另一个模型B
• 老师学生模型：A比B更强
• 在老师的帮助下，学生模型可以突破自我学得更好。
• 应用：把更高效/小的模型放到嵌入式系统中

模型

损失函数代码

L2正则化和KL散度

知识蒸馏资源收集：

• 自监督知识蒸馏：https://mp.weixin.qq.com/s/EgSKnyhQZBQmVzH4KlQnZw知识蒸馏作为模型压缩里的一项重要技术，在学术界和工业界都得到了广泛的研究。https://mp.weixin.qq.com/s/EgSKnyhQZBQmVzH4KlQnZw
• response-based, feature-based, relation-based:

关于知识蒸馏，你一定要了解的三类基础算法小伙伴们，知识蒸馏系列文章来啦！https://mp.weixin.qq.com/s/zT1QKhOSUDMmYZC8czymcg

• 异构高阶关系的知识蒸馏:HIRE——基于异构图神经网络的高阶关系级知识蒸馏方法本文是首篇提出异构图神经网络上的高阶关系（HIgh-order RElational, HIRE）知识蒸馏框架，该框架可以显著提高异构图神经网络模型的性能。https://mp.weixin.qq.com/s/pXj7iSfh_ePimwsBBy74Ug

HIRE——基于异构图神经网络的高阶关系级知识蒸馏方法本文是首篇提出异构图神经网络上的高阶关系（HIgh-order RElational, HIRE）知识蒸馏框架，该框架可以显著提高异构图神经网络模型的性能。https://mp.weixin.qq.com/s/pXj7iSfh_ePimwsBBy74Ug

• WWW2021 | 图神经网络的知识提取与超越：一个有效的知识蒸馏框架：

WWW2021 | 图神经网络的知识提取与超越：一个有效的知识蒸馏框架WWW2021 | 图神经网络的知识提取与超越：一个有效的知识蒸馏框架https://mp.weixin.qq.com/s/he9hmVHUZzqQwJhjcSGwjg

• point wise/pair wise distill :

万字总结，知识蒸馏如何在推荐系统中大显身手？如果推荐系统在各个环节都采取知识蒸馏，将会发生什么？https://mp.weixin.qq.com/s/veMV787bDeq3iw8tTEt2Dg深度总结 | 知识蒸馏在推荐系统中的应用张俊林大佬深度总结2种知识蒸馏方法在3种不同推荐阶段的3类推荐系统排序模型中的应用。https://mp.weixin.qq.com/s/NvKZVVRQAFsZiY1HfZ06vA

• 优势特征蒸馏:

【综述专栏】知识蒸馏在推荐系统中的应用针对穿越特征的使用，阿里的这篇论文提供了一个不错的思路。通过蒸馏优势特征，在保证主任务准确率的同时，通过教师模型学习优势特征，再“蒸馏”给主任务模型，这样既能利用优势特征，同时主任务模型不会存在训练、预测特征不一致问题。https://mp.weixin.qq.com/s/FICTjclHiLANmfzbJfV1Ig

• 可以用于摘抄一些有用的语句:

前沿进展 | 基于知识蒸馏的推荐系统https://mp.weixin.qq.com/s/TixYu68Xxb38EwQwQ6X9EQ

• decople那篇文章的细讲:

CVPR 2022详解｜重新挖掘logit蒸馏的潜力，旷视等开源解耦知识蒸馏DKDhttps://mp.weixin.qq.com/s/4F14q-rU2bhBHYOOk-MG9Q

• 循序渐进的知识蒸馏：

COLING 2022 | Pro-KD：循序渐进的平滑知识蒸馏​在本文中，作者针对传统知识蒸馏中遇到的容量差距问题和检查点搜索问题进行了分析，同时提出了 Pro-KD 蒸馏方法，为学生模型提供了一个更加顺畅的训练路线，而并非原有的直接学习成熟的教师模型。https://mp.weixin.qq.com/s/DkCuGvJLmUzztYv8qMlDrw

• survey非常好:

知识蒸馏|论文总结：Knowledge Distillation: A SurveyKnowledge Distillation 知识蒸馏Introduction 介绍深度网络在人工智能领域，https://mp.weixin.qq.com/s/Nex4KXDgKzVPnws7BMvjXw

• 知识蒸馏迁移学习:

知识蒸馏的迁移学习应用本文介绍了知识蒸馏的迁移学习应用。https://mp.weixin.qq.com/s/0AwhmVUL1g0am-3oePNNHQ

• 知识蒸馏在推荐精排中的应用与实践:

知识蒸馏在推荐精排中的应用与实践知识蒸馏主要分为两类：logits蒸馏和中间特征蒸馏。其中，logits蒸馏指的是在softmax时使用较高https://mp.weixin.qq.com/s/AvndCyJGURT7W7ZsdQvHLg

• 一种有效的图神经网络知识蒸馏框架:

一种有效的图神经网络知识蒸馏框架一种有效的图神经网络知识蒸馏框架https://mp.weixin.qq.com/s/hQ51B6mDvuz4PWEJEHA8Lw

• 知识蒸馏在推荐系统中的应用：  
• 【综述专栏】知识蒸馏在推荐系统中的应用针对穿越特征的使用，阿里的这篇论文提供了一个不错的思路。通过蒸馏优势特征，在保证主任务准确率的同时，通过教师模型学习优势特征，再“蒸馏”给主任务模型，这样既能利用优势特征，同时主任务模型不会存在训练、预测特征不一致问题。https://mp.weixin.qq.com/s/FICTjclHiLANmfzbJfV1Ig