BERT 模型压缩 —— 知识蒸馏

最新推荐文章于 2025-03-01 18:25:33 发布
最新推荐文章于 2025-03-01 18:25:33 发布
阅读量341 收藏 1
点赞数
分类专栏： NLP/ML/DL 文章标签： 知识蒸馏
原文链接：https://zhuanlan.zhihu.com/p/81467832
版权
知识蒸馏是一种技术，通过训练大型的teacher网络，将其知识转移给小型的student网络，从而实现模型压缩。这种方法能保持小网络的性能接近大网络，也可将多个网络的知识集成到一个网络中，提升单网络的效能。 DistilBERT等模型是这种技术的具体应用，用于自然语言理解任务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

知识蒸馏，可以将一个网络的知识转移到另一个网络，两个网络可以是同构或者异构。做法是先训练一个teacher网络，然后使用这个teacher网络的输出和数据的真实标签去训练student网络。知识蒸馏，可以用来将网络从大网络转化成一个小网络，并保留接近于大网络的性能；也可以将多个网络的学到的知识转移到一个网络中，使得单个网络的性能接近emsemble的结果。

参考资料：
知识蒸馏（Knowledge Distillation）简述（一）

BERT模型蒸馏论文：
Extreme Language Model Compression withOptimal Subwords and Shared Projections
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
FastBERT: a Self-distilling BERT with Adaptive Inference Time
TinyBERT: Distilling BERT for Natural Language Understanding

Transformer大模型实战 DistilBERT 模型——BERT模型的知识蒸馏版本
AI天才研究院
07-03 1110
在自然语言处理（NLP）领域，预训练模型如BERT、GPT等展示了强大的文本理解和生成能力，但在实际部署时面临着巨大的计算和存储成本。尤其对于需要在资源受限设备上运行的应用场景，如何在保持高性能的同时降低模型大小成为了一个关键问题。BERT（Bidirectional Encoder Representations from Transformers）是一个多层双向Transformer模型，它能够学习到上下文相关的词语表示，并且在多个下游任务上取得了卓越的效果。Teacher-Student架构。
Bert基础(十二)--Bert变体之知识蒸馏原理解读
Andy_shenzl的博客
04-03 1214
知识蒸馏(knowledge distillation)是一种模型压缩技术，它是指训练一个小模型来重现大型预训练模型的行为。知识蒸馏也被称为师生学习，其中大型预训练模型是教师，小模型是学生。让我们通过一个例子来了解知识蒸馏是如何实现的。假设预先训练了一个大模型来预测句子中的下一个单词。我们将大型预训练模型称为教师网络。我们输入一个句子，让网络预测句子中的下一个单词。它将返回词表中所有单词是下一个单词的概率分布，如图所示。为了更好地理解，我们假设词表中只有5个单词。
独家 | 基于知识蒸馏的BERT模型压缩
数据派THU
10-11 1819
作者：孙思琦、成宇、甘哲、刘晶晶本文约1800字，建议阅读5分钟。本文为你介绍“耐心的知识蒸馏”模型。数据派THU后台回复“191010”，获取论文地址。在过去一年里，语...
BERT知识蒸馏
yaohaishen的专栏
06-08 1621
预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单，不断刷新记录，但是，BERT庞大的参数量所带来的空间跟时间开销限制了其在下游任务的广泛应用。基于此，人们希望能通过Bert得到一个更小规模的模型，同时基本具备Bert的能力，从而为下游任务的大规模应用提供可能性。目前许多跟Bert相关的蒸馏方法被提出来，本章节就来分析下这若干蒸馏方法之间的细节以及差异。 知识蒸馏由两个模型组成，teacher模型跟student模型，一般teacher模型规模跟参数量都比较庞大，所以能力更强，
Bert系列之知识蒸馏
zenRRan的博客
05-11 557
每天给你送来NLP技术干货！来自：NLP日志提纲1简介2 DualTrain+SharedProj3 DistilBERT4 LSTM5 PKD6 TinyBert7 MOBILEBERT8总结参考文献1 简介预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单，不断刷新记录，但是，BERT庞大的参数量所带来的空间跟时间开销限制了其在下游...
bert蒸馏
爱吃火锅的博客
11-21 680
交互/表示模型 交互模型： 两句话拼接成一句话，缺点就是长度弄不了太长，线上性能也压力大，优点就是两句话交互编码更加充分 表示模型：两句话分别进bert模型，所以是双塔模型，优点就是单句长度可以更长，线上也可以做到更好，因为其中一个bert边的向量可以保存，用的时候直接取。缺点就是两句话交互性其实比较弱，都是单独编码，只在最后一层取两个向量计算相似性。一个可以稍微缓解这种交互性的方案就是Poly-encoder,比如两个Bert最后输出的hidden_size是768，那么可以将其分成12个头head，
BERT知识蒸馏Distilled BiLSTM
null的专栏
09-16 1259
Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。在BiLSTM中，多个隐层状态的融合有不同的方法，如上面直接用最后一个隐层状态作为最终的状态，实际上，可以使用Attention的方法综合多个隐层状态作为最终的状态能够进一步增强模型的效果。
大模型知识蒸馏技术（8）——知识蒸馏应用场景
最新发布
谷哥的小弟
03-01 3466
知识蒸馏技术显著提高了模型的推理效率。学生模型由于结构更简单、参数更少，在推理时所需的计算资源和时间也更少。例如，在图像分类任务中，经过知识蒸馏优化后的学生模型，其推理速度比教师模型提高了5倍以上。这使得模型能够在更短的时间内完成任务，提高了系统的整体效率。在实际应用中，这种效率提升尤为重要。例如，在自动驾驶场景中，模型需要在极短的时间内对路况进行准确判断，知识蒸馏后的轻量化模型能够快速处理传感器数据，为自动驾驶决策提供支持。此外，在实时推荐系统中，知识蒸馏优化后的模型能够更快地生成推荐结果，提升用户体验。
大模型知识蒸馏技术（7）——知识蒸馏关键技术
谷哥的小弟
03-01 3070
KL 散度损失用于衡量学生模型与教师模型软目标的分布差异。通过最小化 KL 散度，学生模型能够学习到教师模型的隐式知识，例如在自然语言处理任务中，学生模型可以学习到教师模型对不同语义的区分能力。实验表明，使用 KL 散度损失的学生模型在语义理解任务中的准确率比仅使用交叉熵损失的模型提高了约 20%，这表明 KL 散度损失在传递教师模型的深层知识方面具有显著优势。
Bert基础(十三)--Bert变体之知识蒸馏训练
Andy_shenzl的博客
04-19 896
请注意，我们是将特定任务的知识从教师迁移给学生，因此，要先针对特定任务微调预训练的BERT-large模型，然后将其作为教师。因此，在进行蒸馏时，也就是在将知识从教师（BERT-base模型）迁移到学生（TinyBERT模型）时，我们使用相同的数据集。这里，我们使用大型的预训练BERT模型（BERT-base模型）作为教师，并通过蒸馏将知识迁移到小型的学生BERT模型（TinyBERT模型）。我们将特定任务的知识从教师迁移给学生，因此，如前所述，将采用为特定任务微调后的预训练的BERT模型作为教师。
bert_distill：BERT蒸馏（基于BERT的蒸馏实验）
02-03
基于BERT的蒸馏实验 参考论文《从BERT提取任务特定的知识到简单神经网络》 分别采用keras和pytorch基于textcnn和bilstm（gru）进行了实验 实验数据分割成1（有标签训练）：8（无标签训练）：1（测试） 在情感2分类服装的数据集上初步结果如下： 小模型（textcnn＆bilstm）准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91 蒸馏模型准确率在0.87〜0.88 实验结果与论文某些基本一致，与预期相符 后续将尝试其他更有效的蒸馏方案 使用方法 首先finetune BERT python ptbert.py 然后把BERT的知识蒸馏到小模型里
BERT 模型的知识蒸馏： DistilBERT 方法的理论和机制研究
deephub
12-13 8471
如果你曾经训练过像 BERT 或 RoBERTa 这样的大型 NLP 模型，你就会知道这个过程是极其漫长的。 由于其庞大的规模，训练此类模型可能会持续数天。 当需要在小型设备上运行它们时，就会发现正在以巨大的内存和时间成本为日益增长的性能付出代价。 有一些方法可以减轻这些痛苦并且对模型的性能影响很小，这种技术称为蒸馏。 在本文中，我们将探讨 DistilBERT [1] 方法背后的机制，该方法可用于提取任何类似 BERT 的模型。 首先，我们将讨论一般的蒸馏以及我们为什么选择 DistilBERT 的方法
知识蒸馏之DistilBERT
MyHeartWillGoOn
04-08 887
文章目录题目知识知识蒸馏DistilBERT 题目 知识蒸馏详解【DistilBERT】 知识 这个概念很广，小到身边道理，大到天文地理，而这都不是今天的重点，我要学的是一个模型MODEL如何从“胖”变“瘦”，实现它的华丽变化！ 大家都知道Bert模型是非常巨大的，因为要学好一门知识，谁都是不容易的，更何况是一个没有感情没有大脑的模型，它唯一能做的就是用它的大算力来解决问题，可能人一眼就分辨出一个句子的感情色彩，而机器就需要不断的试错改正才能达到和人类比较接近的效果。所以这也就为什么导致Bert模型的参
【BERT蒸馏】DistilBERT、Distil-LSTM、TinyBERT、FastBERT（论文+代码）
一个nlp探险者的博客
10-24 8079
引言
给Bert加速吧！NLP中的知识蒸馏论文 Distilled BiLSTM解读
yanqianglifei的专栏
09-08 599
论文题目：Distilling Task-Specific Knowledge from BERT into Simple Neural Networks 论文链接：https://arxiv.org/pdf/1903.12136.pdf 摘要 在自然语言处理文献中，神经网络变得越来越深入和复杂。这一趋势的苗头就是深度语言表示模型，其中包括BERT、ELMo和GPT。这些模型的出现和演进甚至导致人们相信上一代、较浅的语言理解神经网络（例如LSTM）已经过时了。然而这篇论文证明了如果没有网络架构的改变、不加入
BERT知识蒸馏TinyBERT
null的专栏
11-08 1168
在TinyBERT中，精简了BERT模型的大小，设计了三种层的蒸馏，分别为transformer-layer，embedding-layer以及prediction-layer。同时，为了能够对以上三层的蒸馏，文中设计了两阶段的训练过程，分别与BERT的训练过程对应，即预训练和fine-tunning。
使用DistilBERT 蒸馏类 BERT 模型的代码实现
deephub
02-08 4100
机器学习模型已经变得越来越大，即使使用经过训练的模型当硬件不符合模型对它应该运行的期望时，推理的时间和内存成本也会飙升。为了缓解这个问题是使用蒸馏可以将网络缩小到合理的大小，同时最大限度地减少性能损失。 我们在以前的文章中介绍过 DistilBERT [1] 如何引入一种简单而有效的蒸馏技术，该技术可以轻松应用于任何类似 BERT 的模型，但没有给出任何的代码实现，在本篇文章中我们将进入细节，并给出完整的代码实现。 学生模型的初始化 由于我们想从现有模型初始化一个新模型，所以需要访问旧模型的权重。 本文将使
类BERT模型蒸馏实战
新缸中之脑
11-17 223
作为对 DistilBERT 训练过程的回顾，我们可以看下图：DistilBERT 的蒸馏过程我们将把注意力转向那个写着LOSS的红色大盒子。但在揭示里面有什么之前，我们需要知道如何收集我们要喂它的东西。从这张图中，我们可以看到我们需要三样东西：标签、学生模型和教师模型的嵌入。标签，我们已经有了，否则，我们可能会遇到更大的问题。现在让我们得到另外两个。
bert模型蒸馏实战
donruo的博客
06-30 1589
由于bert模型参数很大，在用到生产环境中推理效率难以满足要求，因此经常需要将模型进行压缩。常用的模型压缩的方法有剪枝、蒸馏和量化等方法。比较容易实现的方法为知识蒸馏，下面便介绍如何将bert模型进行蒸馏。一、知识蒸馏原理模型蒸馏的目的是用一个小模型去学习大模型的知识，让小模型的效果接近大模型的效果，小模型被称为student，大模型被称为teacher。知识蒸馏的实现可以根据teacher和student的网络结构的不同设计不同的蒸馏步骤，基本结构如下所示： 损失函数需要计算两个部分，cross entr
大语言模型 知识蒸馏
01-16
### 大语言模型的知识蒸馏方法及应用 #### 小型化与性能保持之间的平衡 知识蒸馏作为一种有效的模型压缩技术，在大语言模型的应用中扮演着重要角色。这种方法的核心在于利用一个更小、更高效的模型（即学生模型）来模仿较大且更为复杂的教师模型的行为，从而使学生模型能够继承教师模型的能力[^2]。 #### 蒸馏过程的具体实现方式 为了使学生模型更好地学习到教师模型的知识，通常会采用软标签作为辅助手段。具体来说，在训练阶段，不仅关注最终分类结果的硬标签，还会考虑由温度调整后的softmax函数产生的较平滑的概率分布——这被称为软标签。这种做法有助于传递更多关于类别间相对关系的信息给学生模型，进而改善其泛化能力[^1]。 对于自然语言处理任务而言，除了简单的输出层复制外，还可以进一步探索中间表示层面的学习策略。例如，通过对比两者的隐藏状态或自注意力机制下的权重矩阵等方式来进行更加深入细致的知识迁移工作[^4]。 ```python import torch.nn as nn from transformers import BertModel, DistilBertModel class TeacherModel(nn.Module): def __init__(self): super(TeacherModel, self).__init__() self.bert = BertModel.from_pretrained('bert-base-uncased') teacher_model = TeacherModel() class StudentModel(nn.Module): def __init__(self): super(StudentModel, self).__init__() self.distilbert = DistilBERTModel.from_pretrained('distilbert-base-uncased') student_model = StudentModel() ``` 上述代码展示了如何基于预训练库创建教师和学生两个不同大小的语言理解模型实例。这里选择了`DistilBERT`, 它是一个经过BERT精炼得到的小型版本，非常适合用于展示知识蒸馏的概念。 #### 应用场景分析 在实际部署环境中，由于硬件条件限制或其他因素的影响，直接使用超大规模参数量的大语言模型往往不可行。而借助于知识蒸馏技术，则能够在很大程度上缓解这一矛盾：一方面降低了计算资源的需求；另一方面也提高了系统的响应速度和服务质量，使得高性能AI服务得以广泛普及至各种终端设备之上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值