【大模型学习】第二十一章 什么是知识蒸馏

目录

一、背景介绍

二、生活化例子说明什么是知识蒸馏

三、技术细节详解

（一）基本概念

教师模型的传递方式

教师模型的设计要点

学生模型的设计要点

生活例子说明

代码示例

（二）知识蒸馏的技术细节

（三）实现机制

---

一、背景介绍

        随着深度学习模型的规模和复杂度不断增长，模型训练所需的计算资源以及推理阶段的延迟也相应增加。尤其是在移动设备或边缘计算场景中，部署大型神经网络变得尤为困难。为了解决这些问题，知识蒸馏（Knowledge Distillation）作为一种有效的模型压缩方法被提出。其核心思想是通过一个“教师”模型来指导“学生”模型的学习过程，从而使相对较小的学生模型能够达到接近甚至超过大型教师模型的表现。

二、生活化例子说明什么是知识蒸馏