知识蒸馏博客阅读与理解学习

最新推荐文章于 2024-06-02 21:12:48 发布
最新推荐文章于 2024-06-02 21:12:48 发布
阅读量223 收藏 1
点赞数
分类专栏： nlp_paper nlp学习 nlp 文章标签： 知识蒸馏 模型蒸馏 先验知识
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16949707/article/details/119322232
版权
nlp 同时被 3 个专栏收录
97 篇文章 3 订阅
订阅专栏
nlp_paper
75 篇文章 7 订阅
订阅专栏
nlp学习
61 篇文章 2 订阅
订阅专栏

如何理解soft target这一做法？ - YJango的回答 - 知乎
https://www.zhihu.com/question/50519680/answer/136406661

1. 是什么

在这里插入图片描述

2. 温度的作用

2.1 概述
在这里插入图片描述

2.2 举例
知识蒸馏：深入理解温度的作用
https://blog.csdn.net/weixin_39078049/article/details/103032625

在这里插入图片描述

3. 与正则，drouput，预训练在模型提升效果上的区别

训练集采样(dropout)
网络结构优化(正则)
先验知识(预训练，蒸馏)

在这里插入图片描述

  1. 参考文章
    如何理解soft target这一做法？ - YJango的回答 - 知乎https://www.zhihu.com/question/50519680/answer/136406661
    知识蒸馏：深入理解温度的作用
    https://blog.csdn.net/weixin_39078049/article/details/103032625
HxShine
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
学习 yjango 博士的学习方法后的总结
weixin_33727510的博客
01-14 1121
博士的初期内容主要是机器学习, 基于机器学习的理论来总结人类自身的学习过程和方式, 现总结博士视频中提到的主要方式 -. 学习的原则 例子重塑大脑 明确输入输出 用二阶知识拆分知识 二. 什么是学习 　　定义: 学习是压缩知识和信息的过程, 　　学习不是记忆, 记忆是学习的一部分, 记忆无法接受大量的知识信息, 所以对于知识的压缩的必要的, 学习就是找出知识的之间的关...
从标签平滑的角度理解知识蒸馏
HanC的博客
11-21 421
简单介绍标签平滑与知识蒸馏的联系与不同。
知识蒸馏在文本方向上的应用
HoyTra0
05-20 3044
知识蒸馏在文本方向上的应用 ​ 虽然说做文本不像图像对gpu依赖这么高，但是当需要训练一个大模型或者拿这个模型做预测的时候，也是耗费相当多资源的，尤其是BERT出来以后，不管做什么用BERT效果都能提高，万物皆可BERT。 ​ 然而想要在线上部署应用，大公司倒还可以烧钱玩，毕竟有钱任性，小公司可玩不起，成本可能都远大于效益。这时候，模型压缩的重要性就体现出来了，如果一个小模型能够替代大模型，而这个小模型的效果又和大模型差不多，换做你晚上做梦也会笑醒。 文章目录知识蒸馏在文本方向上
YJango的卷积神经网络——介绍
周红伟讲AI
07-06 3178
YJango的卷积神经网络——介绍 本文作者：雷锋专栏 2017-07-04 17:16 导语：这里对卷积神经网络的讲解主要是以不同的思考侧重展开，通过对卷积神经网络的分析，进一步理解神经网络变体中“因素共享”这一概念。 雷锋网按：本文来源 知乎，作者:YJango，雷锋网(公众号：雷锋网)授权转载。 PS：YJ
基于知识蒸馏的模型压缩和加速
09-18 460
　　　　 　　动机： 　　目标：想要获得一个实时的模型，且尽可能的准确。 　　我们有一个大模型性能很好，但是很慢： 　　 　　我们有个小模型速度很快，但是性能很差： 　　 　　动机：面临的挑战 　　1、由于容量和能力，小模型很难达到一个很好的性能。 　　2、精确度和模型压缩之间的差距还是很大 　　3、物体检测比分类要困难得多： 　　　　a、 标签的计算更加昂贵 ...
知识蒸馏学习
akaweige的博客
07-03 4618
大模型在部署到资源有限的设备上（手机、嵌入式设备等）会遇到体积和速度问题，知识蒸馏作为有代表性的模型压缩和加速的技术之一（其他还有：参数裁剪和共享、低秩分解和Transferred compact convolutional filters等），近年来受到了学术界和工业界的广泛关注。为了在资源有限的设备上部署深度模型，Bucilua 等人在2006年首次提出了模型压缩技术来迁移大模型或集成模型里的信息去训练小模型而精度不会有显著的下降。
知识蒸馏学习知识
qq_41288011的博客
10-30 346
知识蒸馏
知识蒸馏Matching logits与RocketQAv2(公式清晰版)
最新发布
weixin_50917576的博客
06-02 1073
teacher model可以生成soft label，相比于原始数据的hard label，包含了更多信息量。所以很多时候你与其说直接用一个数据集去训练一个模型，你还不如用这个数据集先训练一个大a模型比a模型要大的模型。再让大a模型去教会a模型去做，有可能效果就更好。就是因为大a模型这个teacher model可以生成soft label相比于原始数据的hard label，可以包含更多的信息量，从而就天然的有一种去燥的一种功能。
学习笔记12/8 知识蒸馏 深度学习 softmax
m0_48022770的博客
12-08 1139
知识蒸馏是一种方法，在训练过程中，我们需要使用复杂的模型，但是在部署中，我们尽量使用简单高效的模型，在保证性能的前提下减少模型的参数量。在本论文中，作者将问题限定在下，或者其他本质上属于分类问题的问题，该类问题的共同点是模型最后会有一个，其输出值对应了相应类别的概率值。
yolov8 知识蒸馏源码
12-18
1. 本项目支持多种蒸馏方式，并对蒸馏代码进行详解，比较容易上手。支持 logit和 feature-based蒸馏以及在线蒸馏： (1)在线蒸馏 (2)logit 蒸馏 (3)mimic 特征蒸馏 (4)cwd: channel-wise distillation 特征蒸馏 (5)...
人工智能-项目实践-知识蒸馏-Code for paper 基于知识蒸馏的目标检测模型增量深度学习方法.zip
12-26
人工智能-项目实践-知识蒸馏-Code for paper 基于知识蒸馏的目标检测模型增量深度学习方法 随着万物互联时代的到来，具备目标检测能力的物联网设备数量呈爆炸式增长。基于此，网络边缘产生了海量的实时数据，具有低...
知识蒸馏代码（手写字MINST数据集实现）
06-17
简单的预实验，教师模型4个隐藏层，学生模型2个隐藏层。另外可视化知识蒸馏的温度系数T的大小对知识蒸馏的影响。
YOLO 知识蒸馏学习及落地部署（v5和v8）
12-10
在本文中，我们将深入探讨YOLO的知识蒸馏，特别是针对YOLO v5和v8版本的学习与落地部署过程。知识蒸馏是将大型、复杂的教师模型的“智慧”传授给小型、高效的 student 模型的一种技术，它有助于在保持相当性能的同时...
知识蒸馏-基于Pytorch实现的知识蒸馏+自监督学习算法训练-附项目源码+优质项目实战.zip
06-01
总的来说，这个项目提供了一个宝贵的实践平台，让开发者能够深入理解知识蒸馏和自监督学习的原理，以及如何在Pytorch中实现它们。通过学习和运行项目代码，不仅可以提升深度学习技能，还可以为实际项目开发积累经验...
序列标注ner原理，CRF作用以及transformers ner使用
hxshine的博客
04-25 6700
1.参考 Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型） https://github.com/ymcui/Chinese-BERT-wwm Transformers: State-of-the-art Natural Language Processing for TensorFlow 2.0 and P...
CRF条件随机场loss函数与维特比算法理解
hxshine的博客
08-05 6591
1. 参考资料 详解条件随机场(CRF)-batch版本:https://zhuanlan.zhihu.com/p/38119194 简明条件随机场CRF介绍 | 附带纯Keras实现:https://www.jiqizhixin.com/articles/2018-05-23-3 序列标注算法(二):http://fancyerii.github.io/books/sequential_labeling2/ CRF(条件随机场)与Viterbi(维特比)算法原理详解:https://blog.csdn.n
SimCSE学习
hxshine的博客
06-21 5380
0. 参考 中文任务还是SOTA吗？我们给SimCSE补充了一些实验：https://kexue.fm/archives/8348 simcse在英文数据上显著超过了bert-flow和bert-whitening SimCSE—简单有效的对比学习：https://zhuanlan.zhihu.com/p/375659368 1. 概述 2. 什么是SimCse 2.1 无监督的训练方法 一个句子，encoder得到embedding，通过dropout得到的embedding作为正例，其他的句子得到
向量检索基础方法总结
hxshine的博客
12-21 3142
一、向量检索图解总结 原文： 大规模特征向量检索算法总结 (LSH PQ HNSW)：https://www.6aiq.com/article/1587522027341 「向量召回」相似检索算法——HNSW：https://mp.weixin.qq.com/s/dfdNj9CZ3Kj2UwDr9PQcVg 二、原始内容 2.1 基础概念 2.1.1 度量方式：欧式距离，cos距离，汉明距离，jaccard相似度 2.1.2 分类 ● 基于空间划分 ○ 举例：乘积向量化，哈希等 ○ 优点：内存占用小，
深度学习压缩技术：知识蒸馏全面综述
知识蒸馏作为其中一种典型的方法，旨在从大型教师模型中学习一个小型学生模型，近年来受到了广泛的关注。" 知识蒸馏是深度学习领域的一个重要研究方向，旨在解决大模型在资源受限设备上的部署问题。传统的深度学习...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值