卷积模型的剪枝、蒸馏---蒸馏篇--NST特征蒸馏（以deeplabv3+为例）

最新推荐文章于 2024-07-11 23:53:52 发布

ghx3110

最新推荐文章于 2024-07-11 23:53:52 发布

阅读量253

点赞数

分类专栏： yolov5/yolov8的量化部署文章标签：剪枝算法特征蒸馏

本文链接：https://blog.csdn.net/qq_41920323/article/details/138711374

版权

yolov5/yolov8的量化部署专栏收录该内容

53 篇文章 123 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何通过NST（Neuron Selectivity Transfer）特征蒸馏来实现deeplabv3+模型对剪枝后模型的知识迁移。在训练过程中，除了常规的交叉熵损失，还引入了最大平均差异（MMD）损失，以减少教师和学生模型特征之间的差异。在实际操作中，使用了d=2, c=0的多项式核函数。在训练和验证阶段，对模型的相应层进行修改，计算并添加NST损失项。通过这种方式，学生网络不仅学习真实标签，还模仿教师网络的中间层激活分布，从而实现有效知识转移。" 111955829,10539775,QT平台文件处理：字符串分组与转换,"['QT开发', '文件操作', '字符串处理']

摘要由CSDN通过智能技术生成

本文使用NST特征蒸馏实现deeplabv3+模型对剪枝后模型的蒸馏过程；
一、NST特征蒸馏简介
下面是两张叠加了热力图（heat map）的图片，从图中很容易看出这两个神经元具有很强的选择性：左图的神经元对猴子的脸部非常敏感，右侧的神经元对字符非常敏感。这种激活实际上意味着神经元的选择性，即什么样的输入可以触发这些神经元。换句话说，一个神经元高激活的区域可能共享一些与任务相关的相似特性，而这种相似特征，即为学生网络向教师网络学习的目标。
在这里插入图片描述
如下图所示为神经元选择性迁移的架构。学生网络不仅利用真正的标签训练，而且还模仿了教师网络中间层的激活分布。图中的每个点或三角形表示其对应的滤波器的激活图。

NST损失函数如下所示：
在这里插入图片描述
其中ÿ