知识蒸馏相关基础知识

最新推荐文章于 2024-07-18 15:53:23 发布
最新推荐文章于 2024-07-18 15:53:23 发布
阅读量427 收藏 9
点赞数 6
分类专栏： 深度学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuanjiaqi_k/article/details/130578815
版权

知识蒸馏

前置知识

  1. Loss
    在这里插入图片描述
    现在分数-正确分数+1
    例：
    在这里插入图片描述

  2. 正则化 Regularization
    用来防止过拟合
    在这里插入图片描述
    在这里插入图片描述

知识蒸馏相关

  1. softmax
    把分数转换为概率的一种方法，e的次方
    在这里插入图片描述

  2. hard targets 和 soft targets

在这里插入图片描述

  1. 蒸馏温度 T
    在原来的softmax下，除以某个系数，让概率值相差不太大
    在这里插入图片描述

  2. 知识蒸馏过程
    在这里插入图片描述

在这里插入图片描述
Loss:
hard loss： 传统交叉熵
distillation loss：
9在这里插入图片描述
一般需要训练好的情趣额度较高的大的教师模型，和未训练的小的学生模型进行训练

yuanjiaqi_k
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
知识蒸馏学习
akaweige的博客
07-03 4618
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
掩码生成蒸馏——知识蒸馏
m0_47867638的博客
05-26 638
知识蒸馏已成功应用于各种任务。当前的蒸馏算法通常通过模仿教师的输出来提高学生的性能。本文表明，教师还可以通过指导学生的特征恢复来提高学生的表示能力。从这一观点出发，我们提出了掩码生成蒸馏（Masked Generative Distillation，MGD），该方法很简单：我们随机掩码学生的特征像素，并通过一个简单的块强迫其生成教师的完整特征。MGD是一种真正通用的基于特征的蒸馏方法，可用于各种任务，包括图像分类、目标检测、语义分割和实例分割。
知识蒸馏
weixin_38740463的博客
07-24 581
知识蒸馏是模型压缩的一种方法，指将复杂的、参数量大的模型的特征表达能力迁移到简单的、参数量小的模型中，以加快模型的推理。 知识蒸馏的关键两点：一是如何定义知识，二是使用什么损失函数来度量student网络和teacher 网络之间的相似度。 方法介绍 reference name year, publication ...
人工智能-项目实践-知识蒸馏-知识蒸馏基础学习版本，使用tensorflow实现.zip
12-26
人工智能-项目实践-知识蒸馏-知识蒸馏基础学习版本，使用tensorflow实现 配置及总结 数据集为cifar10 框架为:tensorflow 2.8.0 Python: 3.9.11 教师网络TeacherNet可以使用像resnet/transformer等大模型，但是一是...
知识蒸馏-基于Tensorflow实现的知识蒸馏算法-附项目源码-优质项目实战.zip
06-01
或者采用多阶段训练，先让学生模型学习基础的特征，再进行知识蒸馏。 总结起来，"知识蒸馏-基于Tensorflow实现的知识蒸馏算法-附项目源码-优质项目实战.zip"这个资源提供了一个完整的知识蒸馏学习和实践路径，涵盖...
Pytorch实现的各种知识蒸馏方法-python
06-18
本知识库是一个简单的参考资料，主要侧重于基础知识蒸馏/转移方法。 因此没有考虑许多技巧和变化，例如逐步训练、迭代训练、教师集成、KD 方法集成、无数据、自蒸馏、量化等。 希望它对您的项目或研究有用。 我将...
基于python实现yolov5算法知识蒸馏项目源码+教师模型权重.zip
06-20
基于python实现yolov5算法知识蒸馏项目源码+教师模型权重.zip基于python实现yolov5算法知识蒸馏项目源码+教师模型权重.zip基于python实现yolov5算法知识蒸馏项目源码+教师模型权重.zip基于python实现yolov5算法知识...
yolov5_5.0版本知识蒸馏训练源码+使用说明(支持训练自己数据).tar
11-17
yolov5_5.0版本知识蒸馏训练源码+使用说明(支持训练自己数据).taryolov5_5.0版本知识蒸馏训练源码+使用说明(支持训练自己数据).taryolov5_5.0版本知识蒸馏训练源码+使用说明(支持训练自己数据).taryolov5_5.0版本...
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
m0_73456341的博客
07-14 829
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 560
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
N7翻译实战
tjl521314_21的博客
07-17 271
本周完成项目实战用于训练一个简单的序列到序列（seq2seq）模型以实现英语到法语的翻译。数据预处理、模型构建、训练以及可视化损失的过程。本周学习了构建和训练一个简单的seq2seq模型用于英语到法语的翻译，对前面的知识做了一个综合的运用。
Python中使用三方库SpeechLib实现文本转换语音文件的示例(Win10)
m0_64880493的博客
07-16 171
开始用创建对象的方法CreateObject 分别创建了语音引擎对象与语音文件流对象。调用流对象的Open()方法实现语音流数据写入音频输出文件。
httpx 的使用
qq_39217312的博客
07-15 794
httpx 是一个可以支持 HTTP/2.0 的库还有一个是： hyper 库这里有一个由HTTP/2.0的网站： https://spa16.scrape.center/使用 requests 库 进行爬取 报错：安装： httpx pip3 install httpx 这样安装并不能支持 HTTP/2.0如果想要支持，需要这样安装：pip3 install httpx[http2]输出：这里访问的HTTP/1.0的网站，并且依次打印除了 ， 响应状态码(status_code),响应头信息(header
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
最新发布
Dxy1239310216的博客
07-18 214
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。
Gradio从入门到精通（1）---快速入门
疯狂飙车的蜗牛的博客
07-15 1378
Gradio 是一个开源 Python 包，允许您为机器学习模型、API 或任何任意 Python 函数快速构建演示或 Web 应用程序。然后，您可以使用 Gradio 的内置共享功能在几秒钟内共享指向演示或 Web 应用程序的链接。无需 JavaScript、CSS 或 Web 托管经验！Gradio最大的特点就是简单，便捷，短短几行代码就可以快速构建大模型web应用程序；当前很多人工智能模型的演示都是使用Gradio打造的；您会注意到，为了制作第一个演示，您创建了该类的实例。
文件在Linux下为binary格式在Windows下为utf-8格式
qq_38220334的博客
07-17 312
想着是不是之前遇到的问题，有可能是文件中含有特殊字符，然后用vim命令来编辑这个文件，发现，还真是含有一个特殊字符，然后将它删除掉，文件就变成utf-8格式的文件了。在Windows下和Mac下都是没有问题的，在华为云服务器上也是没问题的（操作系统不是centos），但是在自己搭建的Linux服务器（centos）上是有问题的。用shell或者Python脚本去将这个文件转为utf-8格式的，但是都失败了。
LM(Levenberg-Marquardt) & PCG(预条件共轭梯度法)
weixin_41469272的博客
07-16 602
LM算法在处理非线性最小二乘问题时表现更好，能够更准确地求解参数。PCG算法虽然主要用于线性系统求解，但在引入预条件和线性化近似后，也能在一定程度上解决非线性问题。对于大规模稀疏线性系统，PCG有显著优势；而对于非线性优化问题，LM算法则表现出色。LM参考链接。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值