轻量化——知识蒸馏（KD）

最新推荐文章于 2025-04-27 20:09:54 发布
最新推荐文章于 2025-04-27 20:09:54 发布
阅读量413 收藏
点赞数
分类专栏： CV轻量化 文章标签： 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_72955351/article/details/131611871
版权
知识蒸馏是一种模型压缩技术，通过训练小型网络模仿大型或集成网络来提升效率。它通过调整softmax的温度参数T，使模型能关注到更多细节信息。教师网络生成软目标，然后蒸馏这些知识到学生网络，通过结合蒸馏损失和交叉熵损失进行优化。这种方法允许学生网络学习到教师网络的泛化能力，即使在直接利用logits的情况下也能有效进行知识转移。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

知识蒸馏

动机

为了提高网络的性能，采用多个模型训练之后再加权求平均得出输出值。但是这种方法去部署的时候却不容易。针对这个问题，采用的方法有两种：

  • 模型压缩
  • 训练轻量化模型

知识蒸馏就是采用的模型压缩的方法

思想

训练一个训练好的小网络去模仿一个预先训练好的大型网络或者集成网络

其中：知识的含义是模型的参数信息保留了模型学到的知识，学习如何从输入向量映射到输出向量

例如：教师网络经过softmax层输出的结果，通常是正确的分类概率比较大；而其他的类别的概率值几乎接近0。这种结果会忽略掉其它类别的概率中包含的有用信息，没有充分利用到教师网络强大的泛化能力。
在这里插入图片描述

例如：真实标签：3，最后模型最后预测的概率发现：4的概率小于8的概率。那么其实模型也可以从这里学习到，更接近8的形状比更接近4的形状是真实标签的概率要大。

即在原始的softmax的基础上添加一个参数T（温度）使得模型能够更加关注到细节信息
在这里插入图片描述

这个表可以看出，增加蒸馏温度，能够很好的捕捉到不同类别之间的有用信息
在这里插入图片描述

方法

神经网络预测的过程

  • 输入的图片送给卷积神经网络，提取特征

  • 拉伸卷积层，送入全连接层

  • 多层全连接层得到logits Zi

  • logits Zi经过softmax得到预测概率

蒸馏的过程：

  • 教师网络训练

首先利用数据训练一个层数更深，提取能力更强的教师网络，得到logits后，利用升温T的softmax得到预测类别的概率分布soft targets

  • 蒸馏

蒸馏教师网络知识到学生网络，构造distillation loss和student loss，加权相加作为最后的损失函数
L = a Lsoft + b Lhard
注：soft target 产生梯度的大小按1/T^2缩放，因此再同时使用soft targets和hard targets时，蒸馏损失乘以T^2

特殊蒸馏（直接利用logits）

直接利用softmax层的输入logits（而不是输出）作为soft targets。需要最小化的目标函数时教师网络和学生网络的logits之间的平方差

  • 交叉熵求导
    在这里插入图片描述
  • 当T足够大时
    在这里插入图片描述
    此处使用了等价无穷小
  • 假设所有的logits对每个样本都是零均值
    在这里插入图片描述
模型压缩中的四大核心技术 —— 量化、剪枝、知识蒸馏和二值化
形上得其象，形下合于数；阴阳自济，玄理自明。
02-09 381
量化核心：降低数值精度，通过缩放因子 (S) 与零点 (Z) 实现线性映射。方法：后训练量化（PTQ）与量化感知训练（QAT）。挑战：精度损失、激活分布处理与硬件支持。技术栈：TensorFlow、PyTorch、TensorRT、TVM 等。案例：MobileNet 量化部署、TensorRT INT8 推理加速。剪枝核心：移除对模型输出贡献较小的参数，通过掩码 (M) 实现结构简化。方法：非结构化剪枝、结构化剪枝及迭代剪枝。挑战：评估参数重要性、剪枝率选择、再训练恢复精度。技术栈。
用于密集预测任务的通道知识蒸馏——关键字：蒸馏
m0_47867638的博客
05-04 975
知识蒸馏（KD）已被证明是训练紧凑密集预测模型的简单有效工具。通过从大型教师网络转移而来的额外监督来训练轻量级学生网络。大多数先前的针对密集预测任务的KD变体都在空间域中对学生网络和教师网络的激活图进行对齐，通常是通过在每个空间位置标准化激活值并最小化逐点和/或成对差异来实现的。与先前的方法不同，我们提出对每个通道的激活图进行标准化以获得软概率图。
网络轻量化 - 知识蒸馏（knowledge distillation）
Bro_Jun的博客
01-05 2740
原文：《Distilling the Knowledge in a Neural Network》 目录前期知识集成模型（Ensemble Models）BaggingBoosting缺点知识蒸馏思想算法部分知识蒸馏方法引入温度参数 T（Temperature）组合两种 Loss 前期知识 集成模型（Ensemble Models） 通过结合了来自多个模型的决策，以提高最终模型的稳定性和准确性。 Bagging 从原始样本抽取训练集：每轮从原始样本集抽取 n 个样本，共进行 k 轮抽取，获得 k 个训
轻量化网络学习 5 知识蒸馏网络
weixin_42630613的博客
09-14 751
文章目录1、保存设置 1、保存设置 def zipdir(path, ziph): files = os.listdir(path) for file in files: if file.endswith(".py") or file.endswith("cfg"): ziph.write(os.path.join(path, file)) if file.endswith("cfg"): os.
轻量化网络之知识蒸馏
weixin_44940947的博客
10-18 194
实质是通过微调（训练）student网络权重，使Total loss 最小。温度T用来平滑预测分数，减少数据间的相对值，但保持总体预测分布曲线和T=1（不使用平滑时）曲线一致。大模型体积越来越大，但实际工程中算力并没有增加，就需要提炼大模型中最有用部分，提高效率同时，增加推理速度。(无需联网，有时调用大模型API需联网，当网络延迟时，推理很不稳定)知识蒸馏总体实现框架：图1、图2;：使用大模型后，可实现。
知识蒸馏(Knowledge Distillation)
Cuibaby的博客
11-25 4055
关于知识蒸馏，你一定要了解的三类基础算法
【论文速递】CCDC2021 - 轻量级网络的结构化注意知识蒸馏
qq_50757624的博客
01-17 511
知识蒸馏是通过设计的损失函数将教师网络学到的有效知识转移到学生网络中，帮助学生网络以更低的计算成本获得更好的性能。但是，当学生网络和教师网络在结构和计算量上存在很大差异时，以前的知识蒸馏方法很难有效提高学生网络性能。为了改善这种情况，本文提出了轻量级网络的结构化注意力蒸馏。结构化注意力蒸馏对模型中的特征进行通道分组，通过细化空间注意力图，帮助学生网络学习教师网络的特征提取能力。我们提出的方法是在CIFAR100和大规模人脸识别验证集（LFW，CFP-FP，Age-DB）上进行评估的。
模型轻量化——知识蒸馏（一）-实现最简单的知识蒸馏
2402_86622916的博客
08-04 563
帮助新手快速掌握人工智能中模型轻量化部分的内容。
模型轻量化的未来发展方向——自动化轻量化
DuHz的博客
11-13 966
随着深度学习模型规模的不断扩大，其在计算和存储方面的需求也随之增加，给实际应用特别是资源受限的设备（如移动设备、嵌入式系统等）带来了巨大的挑战。模型轻量化（Model Compression）技术应运而生，旨在在保证模型性能的前提下，减少模型的参数量和计算量。自动化轻量化（Automated Model Compression）作为模型轻量化的未来发展方向，通过自动化的方法和工具，进一步提升模型压缩的效率和效果，降低人为干预的需求。
【人工智能】用Python迈向轻量化深度学习——模型压缩与量化实战指南
一个被知识诅咒的人
02-20 573
随着移动端与嵌入式设备对深度学习推理需求的不断提升，模型的体积和推理效率成为关注重点。本文系统介绍了模型压缩与量化技术，详细阐述了剪枝、蒸馏等压缩方法，并重点探讨了如何在Python环境中使用TensorFlow Lite与PyTorch提供的量化工具来实现模型的轻量化。通过逐步的示例与大量注释，读者不仅能深入理解模型压缩与量化的原理，也能在实战中快速上手，最终实现将深度学习模型高效部署到移动设备与嵌入式平台的目标。
知识蒸馏算法原理
热门推荐
charles_zhang_的博客
03-21 1万+
知识蒸馏算法原理 “蒸馏”的概念大概就是将本身不够纯净的水通过加热变成水蒸气，冷凝之后就成更纯净的水 知识蒸馏同样使用这种原理，将不太纯净的“知识”通过“蒸馏”的方式获得更加有用或者纯净的“知识” 体现在神经网络中如下图所示： 一个大而臃肿，但知识丰富且高效的“教师网络”，通过转换精准将特定领域的知识传授给“学生网络”，让“学生网络”在某个方面做得很好，并且不那么臃肿，类似“模型压缩” 为什么不直接使用教师网络？因为将算法应用在现实生活中很多设备的算力会被限制，因此需要尽可能.
知识蒸馏简介（Knowledge Distillation）
qq_46684028的博客
09-29 9404
知识蒸馏的背景，概念，知识传递形式，不同蒸馏方法的优缺点，例子的相关介绍
知识蒸馏与网络轻量化
2305_76351374的博客
06-06 662
知识蒸馏就是把一个大的教师模型的知识萃取出来，把他浓缩到一个小的学生模型，可以理解为一个大的教师神经网络把他的知识教给小的学生网络，这里有一个知识的迁移过程，从教师网络迁移到了学生网络身上，教师网络一般是比较臃肿，所以教师网络把知识教给学生网络，学生网络是一个比较小的网络，这样就可以用学生网络去做一些轻量化网络做的事情。
一分钟带你认识深度学习中的知识蒸馏
华为云官方博客
09-23 8801
摘要：知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法 一、知识蒸馏入门 1.1 概念介绍 知识蒸馏（knowledge distillation）是模型压缩的一种常用的方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。最早是由Hinton在2015年首次提出并应用在分类任务上面，这个大模型我们称之为teacher（教师模型），小模型我们称之为Student（学生模型）
深度学习模型轻量化（下）
吴建明wujianming_110117
05-16 2611
深度学习模型轻量化（下） 2.4 蒸馏 2.4.1 蒸馏流程 蒸馏本质是student对teacher的拟合，从teacher中汲取养分，学到知识，不仅仅可以用到模型压缩和加速中。蒸馏常见流程如下图所示 老师和学生可以是不同的网络结构，比如BERT蒸馏到BiLSTM网络。但一般相似网络结构，蒸馏效果会更好。 总体loss为 soft_label_loss + hard_label_loss。soft_label_loss可以用KL散度或MSE拟合 soft label为teacher模型的要拟
杂谈-有感而发
2401_83351807的博客
04-23 387
现在想想，先学线性代数呢还是先搞明白向量积呢？现在来看肯定不是，在纯磁场中，F = qvxB才对，而且对于v和B的叉乘方向再熟悉不过了，B穿掌心，v延四指，大拇指就是F方向。今天又拜读了线性代数的几何意义这本书，感觉确实是很不错的，从几何角度讲解线性代数，而且将线性代数、几何、数学、物理有机结合起来了，不仅仅是可视化，重要的是能便于自己独立思考下去。所以现在看看，学线性代数的路线应该是：从洛伦兹力切入向量积概念后，明白混合积的意义，然后再去学线性代数，最好能够可视化，从而产生自己的理解。
【机器学习-线性回归-4】线性回归中的最优解：从数学原理到实践应用
最新发布
weixin_39033358的博客
04-27 876
什么是最优解？在线性回归中，最优解指的是能够最小化预测值与真实值之间差异的参数组合。损失函数其中m是样本数量。我们的目标就是找到使J(w)最小的w。解析解（闭式解）对于普通最小二乘回归(OLS)，最优解可以通过正规方程(Normal Equation)直接求得：无偏性：E[w*] = w_true最小方差：在所有线性无偏估计量中方差最小（高斯-马尔可夫定理）几何解释从几何角度看，线性回归的最优解是在特征空间中找到的能够最小化残差向量长度的投影。Xw*实际上是y在X列空间上的正交投影。
数据为基：机器学习中数值与分类数据的处理艺术及泛化实践
青蛙博客
04-23 701
在机器学习实践中，数据质量对模型效果的影响往往超过算法选择。本文通过详实的案例解析，系统阐述数值型数据与分类数据的特征工程处理方法，揭示数据预处理对模型泛化能力的关键作用。文章深入探讨数值数据的标准化与分箱策略，分类数据的编码优化方案，并通过房价预测、用户流失分析等实际案例，展示如何通过合理的数据转换规避过拟合风险。
目标检测的知识蒸馏和结构化蒸馏
03-16
### 目标检测中的知识蒸馏与结构化蒸馏 #### 知识蒸馏概述 知识蒸馏是一种用于压缩大型复杂模型的技术，通过让小型学生模型模仿大型教师模型的行为来提高效率。在目标检测领域，这种方法被广泛应用于减少计算资源消耗并加速推理过程。具体来说，知识蒸馏可以通过对齐教师模型和学生模型之间的预测 logits 来实现[^1]。 #### 定位蒸馏 (Localization Distillation) 定位蒸馏是针对密集型目标检测的一种特定形式的知识蒸馏技术。它不仅关注分类分数的学习，还强调边界框回归任务上的指导。GFL CVPR 2022 提出了基于定位蒸馏的方法，在密集对象检测场景下表现出显著效果。该方法的核心在于引入了一种新的优化策略——从 logits 到 cell 边界的方向调整，从而提升了学生的性能表现。 #### 结构化知识蒸馏 相比传统的全局特征映射方式，结构化知识蒸馏更注重局部区域内的语义信息传递。这种机制能够更好地捕捉图像中小尺度物体的关键特性，并将其有效地迁移到轻量化的学生网络中去[^2]。例如，在某些研究工作中提到 alpha 参数可以用来调节 LookAhead 差异的比例，默认设置为 .5 被认为是一个较为理想的选择；然而实际应用过程中仍需根据具体情况做适当微调以达到最佳平衡状态。 #### 实现方法与代码示例 以下是利用 PyTorch 编写的一个简单版本的目标检测知识蒸馏框架： ```python import torch.nn as nn import torch.optim as optim class TeacherModel(nn.Module): def __init__(self): super(TeacherModel, self).__init__() # Define teacher model architecture here... class StudentModel(nn.Module): def __init__(self): super(StudentModel, self).__init__() # Define student model architecture here... def knowledge_distillation_loss(student_output, teacher_output, temperature=4.0): soft_student = nn.functional.softmax(student_output / temperature, dim=-1) soft_teacher = nn.functional.softmax(teacher_output / temperature, dim=-1) loss_fn = nn.KLDivLoss(reduction='batchmean') return loss_fn(torch.log(soft_student), soft_teacher) # Initialize models and optimizer teacher_model = TeacherModel() student_model = StudentModel() optimizer = optim.Adam(student_model.parameters(), lr=0.001) for data in dataloader: inputs, labels = data with torch.no_grad(): teacher_outputs = teacher_model(inputs) student_outputs = student_model(inputs) kd_loss = knowledge_distillation_loss(student_outputs, teacher_outputs) optimizer.zero_grad() kd_loss.backward() optimizer.step() ``` 上述代码片段展示了如何构建基本的知识蒸馏流程以及定义相应的损失函数 `knowledge_distillation_loss` 。这里采用了 KL 散度作为衡量两个分布之间距离的标准之一[^3]。 #### 参考文献扩展阅读建议 对于希望深入理解此主题的研究者而言，《Knowledge Distillation for Specific Object Detectors》提供了详尽理论基础及实践指南; 同时也可以参考《整理：4篇论文知识蒸馏引领高效模型新时代》，其中涵盖了更多关于不同应用场景下的创新思路和技术细节.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值