知识蒸馏论文整理与总结与代码实现

已于 2022-04-08 19:02:10 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： NLP 文章标签： python distillation bert pytorch nlp
于 2022-04-06 23:45:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44833392/article/details/123996485
版权
NLP 专栏收录该内容
89 篇文章 51 订阅 ¥29.90 ¥99.00
订阅专栏
本文旨在通过知识蒸馏改进BERT模型，以适应实时响应的应用场景。作者阅读了多篇相关论文，包括DistilBERT，探讨了预训练和任务特定的知识蒸馏方法，以及在计算损失和初始化BERT Transformer层的不同策略。文章还介绍了BERT模型的基础，并预告了DistilBERT的代码实现。
摘要由CSDN通过智能技术生成

知识蒸馏

文章目录

题目

知识蒸馏

题记

写这篇的目的是为了改进自己的bert训练出来的模型，对于QA这种需要实时响应的应用，非常考验一个模型带给用户的体验感，所以我觉得自己需要深入探索一下知识蒸馏这个领域。

本部分将会分为几个章节来完成，希望我能最后成功地把模型蒸馏出来

章节一 《论文选读》

这两天我大概读了三篇论文，由于一开始不太懂这个领域，所以先去B站上看看其他人的视频，这里推荐同济子豪兄，他讲解的很小白了，所以不明白或者更希望看视频的可以去学习学习！

因为我主要是为了改进bert模型，所以看的是跟bert更为紧密的论文。

  1. Distilling the Knowledge in a Neural Network这篇论文作为入门，我觉得还是得有个人带你学习一下
    在这里插入图片描述

了解本专栏 订阅专栏 解锁全文
365JHWZGo
关注
专栏目录
订阅专栏
LLM与搜索推荐
07-28 209
推荐增强的大语言模型，也就是对话推荐系统（Conversational Recommender System，简称 CRS），是一种结合了大型语言模型（Large Language Model，LLM）与传统推荐模型优势的创新架构。不过，需要注意的是，大语言模型的自然语言理解能力虽然强大，但在特定领域和复杂协同关系建模上可能不如经过专门训练的推荐模型。举个例子，KNN-LMs这个方法，它会在生成每一个新词时，查找与当前上下文最相关的几个文档，根据这些文档的信息来调整下一个词生成的概率分布。
知识蒸馏论文读书笔记
The Blog Of Uncle_Sugar
02-17 417
知识蒸馏的教育体制改革之路 突然觉得，我应该做一点笔记，梳理一下学过的东西，否则年一过，整个人就跟失忆了一样。 知识蒸馏这个名字非常高大上（不得不说大佬不仅想法清新脱俗，名字也起的情形脱俗啊）。如果直白地说老师学生模型，那就不酷了。 是的，知识蒸馏本质上 下面是论文的总结梳理， 跨种族的学习-Model Compression 就好像《三国演义》不会从魏蜀吴三国都建立之后开始写， 在2015年hi...
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
ICCV2023知识蒸馏相关论文速览
最新发布
weixin_44287798的博客
06-28 692
ICCV2023教室学生网络Disstillation论文速览
真棒知识蒸馏：真棒知识蒸馏。分类整理的知识蒸馏论文（2014-2020）
02-05
真棒知识蒸馏：真棒知识蒸馏。分类整理的知识蒸馏论文（2014-2020）
关于知识蒸馏，这三篇论文详解不可错过
AI科技大本营
07-28 5496
作者 | 孟让转载自知乎导语：继《从Hinton开山之作开始，谈知识蒸馏的最新进展》之后，作者对知识蒸馏相关重要进行了更加全面的总结。在上一篇文章中主要介绍了attent...
知识蒸馏基础篇（经典论文）
ljx123_的博客
11-22 7173
我们一般希望部署到应用中的模型使用较少的计算资源(存储空间、计算单元等)，产生较低的时延,因此需要进行模型压缩和加速。常用的四个技术是设计高效小型网络、剪枝、量化和蒸馏。 １.基础理论 2014年Hinton等人发表的《Distilling the Knowledge in a Neural Network》首次提出了蒸馏学习的概念。蒸馏学习即教师模型（大参数，深网络）蒸馏出一个学生模型（小参数，浅网络），使学生模型具有接近教师模型的效果，以达到模型压缩的目的。 softmax函数，计算分类网络中输入属于第
知识蒸馏系列总结整理（一）（2022/06/23）
Tikyon的博客
06-26 331
对知识蒸馏方面内容的总结与提疑（一）
论文浅尝 | MulDE：面向低维知识图嵌入的多教师知识蒸馏
开放知识图谱
10-19 551
笔记整理：朱渝珊，浙江大学在读博士，研究方向为快速知识图谱的表示学习，多模态知识图谱。Motivation为了更高的精度，现有的KGE方法都会采用较高的embedding维度，但是高维KG...
多模态大模型：技术原理与实战 全球多模态大模型介绍
程序员光剑
06-11 598
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
知识蒸馏代码（手写字MINST数据集实现）
06-17
简单的预实验，教师模型4个隐藏层，学生模型2个隐藏层。另外可视化知识蒸馏的温度系数T的大小对知识蒸馏的影响。
知识蒸馏（Distilling the Knowledge in a Neural Network）论文
charles_zhang_的博客
03-24 1205
知识蒸馏（Distilling the Knowledge in a Neural Network） 三大作者 深度学习教父 Geoffery Hinton 谷歌灵魂人物 oriol Vinyals 谷歌核心人物 Jeff Dean Abstract 多模型集成能提升机器学习性能是指多个性能较差的模型集合在一起可以提升整体的性能。同样集成模型也会出现部署笨重、算力高昂的问题，无法适用多数用户进行安装，训练这些模型也需要进行大量的计算。在一号文献中提到知识蒸馏，将一个集成模型.
论文阅读_知识蒸馏_MobileBERT
谢彦的技术博客
09-24 1102
使用了瓶颈结构，同时微调模型实现加速，最终实现了任务无关的蒸馏BERT模型。
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述（2021）
qq_39710087的博客
04-02 6656
论文阅读：Knowledge Distillation: A Survey 知识蒸馏综述2021 摘要 近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务中。深度学习的巨大成功主要归功于它的可扩展性，可以对大规模数据进行编码，并操纵数十亿个模型参数。然而，在资源有限的设备（如手机和嵌入式设备）上部署这些繁琐的深度模型是一个挑战，这不仅是因为计算复杂度高，而且还因为存储需求大。为此，人们开发了各种模型压缩和加速技术。作为模型压缩和加速的一种典型类型，知识蒸馏有效地从大型教师模型中学习小型
人工智能超级核心论文——知识蒸馏——01 Distilling the Knowledge in a Neural Network（论文理解）
daweq的博客
02-24 1220
当“soft targets”具有很高的熵时（也就是各个概率差异不会很大，不会有数量级的差距，比如一个为0.5，一个为10^-10这样），它相对于“hard targets”能够提供更多的信息，同时会使得每一个类别的训练梯度不会过于分散，所以小模型可以使用更少的数据进行学习，同时可以提高学习率。如果繁琐的模型泛化得很好，例如，它是不同模型的大型集合的平均值，那么以相同方式训练泛化的小模型在测试数据上的表现通常会比在用于训练集合的相同训练集上以正常方式训练的小模型好得多。也就是说明了温度的选取很重要。
【论文笔记_知识蒸馏_2022】Masked Generative Distillation
qq_45128278的博客
05-30 1620
摘要 知识提炼已经成功地应用于各种任务。当前的蒸馏算法通常通过模仿老师的输出来提高学生的表现。本文表明，教师也可以通过指导学生的特征恢复来提高学生的表征能力。从这个角度出发，我们提出了掩蔽生成蒸馏(MGD)，它很简单:我们掩蔽学生特征的随机像素，通过一个简单的块，迫使它生成老师的全部特征。MGD是一种真正通用的基于特征的提取方法，可用于各种任务，包括图像分类、对象检测、语义分割和实例分割。我们用大量的数据集对不同的模型进行了实验，结果表明所有的学生都取得了很大的进步。值得注意的是，我们将ResNet-18.
知识蒸馏相关论文代码
m0_37192554的博客
09-18 1589
https://blog.csdn.net/qzrdypbuqk/article/details/81482598 知识蒸馏相关
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

365JHWZGo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值