知识蒸馏(Knowledge Distillation)

最新推荐文章于 2024-05-10 18:47:13 发布
最新推荐文章于 2024-05-10 18:47:13 发布
阅读量2.5k 收藏 24
点赞数
文章标签： 知识图谱 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44125346/article/details/120237779
版权

知识蒸馏(Knowledge Distillation)

从大型、深层的教师网络中提炼知识并转移到小型、简单的学生网络中

更深更广→更浅更薄

在这里插入图片描述

知识(Knowledge)

在这里插入图片描述

  1. 基于响应的知识（Response-Based Knowledge）

    ① 简单、有效、仅限于监督学习

    ② 直接模拟教师网络的输出

    ③ 未能解决教师模型的中级监督问题

    在这里插入图片描述

  2. 基于特征的知识（Feature-Based Knowledge）

    ①特征图：网络中间层和最后一层的输出

    ② 利用特征图作为知识监督学生模型的训练

    ③ 基于特征的知识是对基于响应的知识的良好拓展

    在这里插入图片描述

  3. 基于关系的知识（Relation-Based Knowledge）

    ①关注不同层或不同数据样本之间的关系

    ②探索不同特征图之间的关系：FSP矩阵

    ③利用多个教师的知识

    在这里插入图片描述

    蒸馏方案(Distillation Schemes)

    1. 离线蒸馏

      简单、有效

      过程分为两个阶段：① 教师模型在蒸馏前线在一组训练样本上进行训练

      ​ ② 教师以输出或中间特征的形式提取知识，然后在蒸馏过程中用于指导学生模型的训练

      教师模型训练时间长，复杂度高。 教师和学生之间的能力差距一直存在

    2. 在线蒸馏

      学生和教师模型同时更新

      多个神经网络协作学习：任一网络可以作为学生模型，其余网络作为教师

    3. 自蒸馏

      ① 教师和学生使用相同的模型（可以看作在线蒸馏的一个特例）

      ② 网络较深部分的知识被蒸馏到浅层部分

      ③ Snaoshot distillation: 将网络较早时期的知识转移到后期时期，以支持同一网络内的监督训练。

师生结构(Teacher-Student Architecture)

教师和学生模型设置在蒸馏过程中预先固定不变的尺寸和结构容易造成模型容量差距

学生网络的选择：① 教师网络的简化版本,层数和通道数更少

​ ② 教师网络的量化版本，保留了网络结构

​ ③ 具有高效基本操作的小型网络

​ ④ 具有全局优化网络结构的小型网络

​ ⑤ 与教师相同的网络

大小型神经网络之间的容量差距会降低知识转移的效率：

① 引入教师助理：通过残差学习来缩小差距（使用辅助结构来学习残差）

② 最小化教师与学生模型的结构差异

蒸馏算法(Distillation Algorithms)

  1. 对抗性蒸馏(Adversarial Distillation)

    生成对抗性网络(GAN)：① GAN中的鉴别器估计样本来自训练数据分布的概率

    ​ ② 生成器试图使用生成的数据样本欺骗鉴别器

    联合GAN和KD可以生成有价值的数据以提高KD性能并克服无法使用和无法访问数据的限制

    在这里插入图片描述

    a)对抗生成器被训练以生成合成数据，该数据直接用作训练数据或用于扩充训练集

    b)使用网络输出或特征来区别学生和教师模型的样本

    c) 在线方式进行，教师和学生在每次迭代中联合优化

  2. 多教师蒸馏(Multi-teacher Distillation)

    多个教师可以单独集成用于蒸馏,使用多位教师的平均反应作为监督信号（最简单的方法）

    进一步结合中间层的特征：一位教师传递基于响应的知识，一位教师传递基于特征的知识

    重生网络：t步的学生被用于t+1步学生的教师

    在这里插入图片描述

  3. 跨模式蒸馏(Cross-Modal Distillation)

    某些模态的数据或标签在训练或测试期间不可用→在不同模态之间转移知识

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G8Qr7dFy-1631343439047)(F:\Blog\image\跨模式蒸馏.PNG)]

  4. 基于图的蒸馏(Graph-Based Distillation)

    ① 以图作为教师知识的载体

    ② 使用图控制教师知识的消息传递

    在这里插入图片描述

  5. 基于注意力的蒸馏(Attention-Based Distillation)

    注意力可以很好的反映卷积神经网络的激活，在知识蒸馏中使用一些注意力机制可以提高学生网络的性能

    注意力转移：定义神经网络层中特征嵌入的注意力图（即特征嵌入的知识是使用注意力图函数传递的）

  6. 无数据蒸馏(Data-free Distillation)

    由于数据不可用问题（隐私性、安全性、合法性、机密性）：数据是新生成或合成生成的

    使用教师模型生成的未标记数据的新训练注释来训练学生

    合成数据通常由预训练教师模型的特征表示生成

    在这里插入图片描述

  7. 量化蒸馏(Quantized Distillation)

    网络量化：将高精度网络转化为低精度网络

    将知识转移到权重量化的学生网络中：① 高精度教师网络将知识转移到小型低精度网络中

    ​ ② 在特征图上量化全精度教师网络，再将知识从量化教师网络转移到量化学生网络

在这里插入图片描述

  1. 终生蒸馏(Lifelong Distillation)

    终生学习：包括持续学习、元学习，积累以前学到的知识并将学到的知识转移到未来的学习中

    ​ 知识蒸馏提供了一种有效的方法来保存和转移所学知识，不会造成灾难性的遗忘

  2. 基于NAS的蒸馏(NAS-Based Distillation)

    神经架构搜索（NAS）：自动识别深度神经网络模型并自适应地学习合适的深度神经结构

    采用NAS来解决教师模型和学生模型之间的能力差距

    知识蒸馏被用来提高神经架构搜索的效率

性能比较(Performance Comparsion)

在这里插入图片描述

在这里插入图片描述

  • 知识蒸馏可以在不同的深度模型上实现
  • 不同深度模型的模型压缩可以通过知识蒸馏实现
  • 通过协作学习的在线知识蒸馏可以显著提高深度模型的性能
  • 自知识蒸馏可以很好提高模型的性能
  • 离线和在线蒸馏通常分别传输基于特征的知识和基于响应的知识
  • 轻量级深度模型（学生）的性能可以通过来自高容量教师模型的知识转移来提高

应用(Applications)

  1. 视觉识别（Visual Recognition）

    • 人脸识别：注重高效部署和识别准确性

      ​ 提高低分辨率人脸识别准确性→使用高分辨率人脸识别教师和低分辨率人脸识别学生的架构→

      ​ 将高分辨率人脸识别的教师网络通过稀疏图优化将其信息丰富的面部特征选择性地转移到低分辨率的学生人脸识别网 络中

    • 动作识别、物体检测、车道检测、行人检测、图像/视频分割

  2. 自然语言处理（NLP）

    • 神经机器翻译（NMT）、文本生成、问答系统、事件检测、文本检索、文本识别

  3. 语音识别（Speech Recognition)

    • 口语识别、音频分类、语音增强、声学事件检测、语音合成

  4. 其他应用

富的面部特征选择性地转移到低分辨率的学生人脸识别网 络中

  • 动作识别、物体检测、车道检测、行人检测、图像/视频分割

  1. 自然语言处理（NLP）

    • 神经机器翻译（NMT）、文本生成、问答系统、事件检测、文本检索、文本识别

  2. 语音识别（Speech Recognition)

    • 口语识别、音频分类、语音增强、声学事件检测、语音合成

  3. 其他应用

    • 推荐系统、解决深度模型的对抗性攻击或扰动
龙兰丶
关注
  • 0
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
知识蒸馏（Knowledge Distillation）
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏 知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算...
【知识蒸馏】Masked Generative Distillation
AaaA00000001的博客
01-02 1083
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的表现。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度来看，我们提出了掩蔽生成蒸馏(MGD)，它很简单:我们屏蔽学生特征的随机像素，并迫使它通过一个简单的块生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。我们在具有广泛数据集的不同模型上进行了实验，结果表明所有学生都取得了出色的改进。
知识蒸馏，需要合适的教师模型，学生模型，蒸馏数据，损失函数，训练策略，让小模型有大模型的知识
最新发布
白水空空
05-10 721
知识蒸馏是一种将知识从一个神经网络（教师）转移到另一个神经网络（学生）的技术，如需更深入地了解知识蒸馏，建议阅读[。这一过程有多种形式，可分为以下几类响应知识蒸馏： 使用 divergence 损失（即使用 KL 散度）训练输出类概率分布，使其与教师概率分布相匹配。特征知识蒸馏： 训练学生模型的内部特征，使其与教师模型的内部特征直接匹配（即：使用均方误差）。关系知识蒸馏： 训练教师模型中特征的相对分布，使之与学生模型中特征的相对分布相匹配。
全网最细图解知识蒸馏(涉及知识点：知识蒸馏实现代码，知识蒸馏训练过程，推理过程，蒸馏温度，蒸馏损失函数)
分享计算机视觉，C++，嵌入式等知识。
11-30 5657
hard targets的预测结果不科学，因为马和驴比马和汽车相似的多。所以驴和汽车都是0，没有表现出这个信息，所以要用soft targets.第二行和第三行是使用百分之3的训练样本并分别用hard target和soft target，结果显示。soft target使我们常用的概率版的标签值。比如输入下面的图片预测。教师网络预测出的soft target具有很多信息。此时学生网络已经训练好，把X输入到学生网络得到结果。学生网络的输入是教师网络的输出。【精读AI论文】知识蒸馏。最后对这两项加权求和。
YOLOv5目标检测之知识蒸馏实战
05-15
PyTorch版的YOLOv5是一个当前非常流行的目标检测器，本课程对YOLOv5进行知识蒸馏实战，来提升其性能。知识蒸馏（Knowledge Distillation）是模型压缩的一种常用的方法。它利用性能更好的大模型的监督信息，来训练一个轻量化小模型，使小模型达到更好的性能和精度。 最早是由Hinton首次提出并应用在分类任务上，这个大模型称之为教师模型，小模型称之为学生模型。来自教师模型输出的监督信息称之为Knowledge(知识)，而学生网络学习迁移来自教师网络的监督信息的过程称之为Distillation(蒸馏)。本课程在YOLOv5 v6.1版本代码的基础上增加知识蒸馏方法，并实际演示针对自己的数据集训练和进行知识蒸馏过程，并讲解原代码针对知识蒸馏的修改部分。本课程分为原理篇、实战篇、代码讲解篇。原理篇包括：知识蒸馏的基础知识、目标检测中知识蒸馏的方法。实战篇包括：PyTorch环境安装、YOLOv5项目安装、准备自己的数据集、修改配置文件、训练学生网络（Yolov5s）、训练教师网络（训练YOLOv5m）、知识蒸馏训练。代码讲解篇包括：知识蒸馏具体修改代码的讲解。
知识蒸馏算法原理
charles_zhang_的博客
03-21 9755
知识蒸馏算法原理 “蒸馏”的概念大概就是将本身不够纯净的水通过加热变成水蒸气，冷凝之后就成更纯净的水 知识蒸馏同样使用这种原理，将不太纯净的“知识”通过“蒸馏”的方式获得更加有用或者纯净的“知识” 体现在神经网络中如下图所示： 一个大而臃肿，但知识丰富且高效的“教师网络”，通过转换精准将特定领域的知识传授给“学生网络”，让“学生网络”在某个方面做得很好，并且不那么臃肿，类似“模型压缩” 为什么不直接使用教师网络？因为将算法应用在现实生活中很多设备的算力会被限制，因此需要尽可能.
深度学习方法（十五）：知识蒸馏（Distilling the Knowledge in a Neural Network），在线蒸馏
热门推荐
Bin 的专栏
10-15 7万+
Distilling the Knowledge in a Neural Network 这篇介绍一下Hinton大神在15年做的一个黑科技技术，Hinton在一些报告中称之为Dark Knowledge，技术上一般叫做知识蒸馏（Knowledge Distillation）。核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。这个概念最早在06年的Paper： Model C...
人工智能-项目实践-知识蒸馏-knowledge distillation 采用知识蒸馏，训练bert后指导textcnn
12-26
运行 0. 配置config下文件 数据格式见：./data/data_sample.json 1. 数据预处理，获得word2idx, label2...3. 训练textcnn(主要用于观察没有蒸馏时的性能) python train_textcnn.py 4. 训练蒸馏模型 python train_KD.py
PSPNet knowledge distillation.pdf
09-03
这篇文章利用知识蒸馏方式对PSPNet进行了模型压缩，包含传统logits蒸馏和logits与特征混合蒸馏两种方式。 Teacher：PSPNet model of ResNet18 backbone Student： PSPNet model of ResNet50 backbone. Dataset: ...
Structured Attention Knowledge Distillation for Lightweight Netw
01-17
知识蒸馏是通过设计的损失函数将教师网络学到的有效知识转移到学生网络中，帮助学生网络以更低的计算成本获得更好的性能。但是，当学生网络和教师网络在结构和计算量上存在很大差异时，以前的知识蒸馏方法很难有效...
Knowledge-Distillation:博客https
05-08
用Keras进行知识蒸馏Keras实施Hinton的知识蒸馏（KD），这是一种将知识从大模型转移到小模型的方法。概括我使用Caltech-256数据集对该技术进行了演示。 我将知识从Xception转移到MobileNet-0.25和SqueezeNet v1.1。 ...
一文看懂“知识蒸馏”技术
weixin_42010722的博客
03-24 1854
过去几年中，深度学习已成为人工智能许多成功的基础，包括计算机视觉中的各种应用、强化学习。随着许多最新技术的帮助，包括残差连接和批量归一化，可以在强大的GPU或TPU集群上轻松训练数千层的非常深的模型。例如，使用数百万图像的流行图像识别基准测试可以在不到十分钟的时间内训练出ResNet模型；训练强大的BERT语言理解模型不需要超过一个半小时。大规模的深度模型取得了压倒性的成功，但是巨大的计算复杂度和大量的存储要求使得在实时应用中部署它们成为了一大挑战，尤其是在资源有限的设备上，比如视频监控和自动驾驶汽车。
知识蒸馏—原理+代码实战(Distillation CNN 和 Progressive Distillation Diffusion)
ZhengrongYue的博客
11-28 3834
知识蒸馏—原理+代码实战(Distillation CNN 和 Progressive Distillation Diffusion)
知识蒸馏，teacher—student模型的思考
yeyin5539的博客
10-30 2万+
知识蒸馏，teacher—student模型的思考 这个方向的学术源头是Rich Caruana2014年的作品《Do Deep Nets Really Need to be Deep?》，后来经过Hinton的《Distilling the Knowledge in a Neural Network》发扬光大。实用价值：可以对大型神经网络进行瘦身以便部署到用户端；理论价值：引发对深度网络的思考：...
特征蒸馏
Jony0917的专栏
02-21 7582
最近几年中，深度模型在推荐领域里的预测任务上取得的令人满意的成果。但大部分工作的焦点放在的模型，只有有限的少数工作注意到了输入的特征，但实际上特征决定了模型效果的上限。本文的工作也关注到了特征层面，特别是商业推荐系统中的特征。 为了确保离线训练和在线服务的一致性，现实的应用中我们通常采用两个环境下都可以获取的特征。只有训练期间才能获取到的一批具有识别能力的特征因此被忽略。以电商推荐中的转化率预测为例，我们的目标是预测用户点击商品之后购买的概率。描述点击后详情页内用户行为的特征可能非常有用。但是线上转化率预测
多教师多学生模型知识蒸馏
小闹钟的机器学习时间
12-23 5283
这两天要研究这个方向，准备先找几篇论文看看。 第一篇： 【MULTI-TEACHER KNOWLEDGE DISTILLATION FOR COMPRESSED VIDEO ACTION RECOGNITION ON DEEP NEURAL NETWORKS】 在google一搜multi-teacher knowledge distillation就出来这一篇，虽然看着不太靠谱，但是看论文主要是...
知识蒸馏与推荐系统
木东的博客
09-04 868
「写在前面：」 这是一篇介绍 「【知识蒸馏】」 在 「【推荐系统】」领域应用的文章，算是知识蒸馏简述系列文章的延续，希望能对推荐领域的同学有所帮助。 以下是本文的主要框架： A brief review KD & 推荐 Conclusion 「1. A brief review」 「1-1 知识蒸馏回顾」 当我们训练一个深度学习模型时，常常面临模型效果与工程性能冲突的问题。 在监督学习中： 训练模型时，通常采用 「复杂模型」 或者 「Ensemble」 方
Knowledge Distillation python
07-25
知识蒸馏（Knowledge Distillation）是一种将一个较大的模型的知识转移到一个较小的模型的技术。这种技术通常用于减小模型的大小和推理成本，同时保持模型在任务上的性能。 在Python中，你可以使用以下步骤来实现...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

龙兰丶

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值