【KD】KD 在bert上的应用

已于 2022-03-28 13:35:29 修改
阅读量178 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： KD论文阅读 文章标签： KD
于 2022-03-27 17:23:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lj2048/article/details/123776869
本文深入探讨了BERT模型的知识蒸馏过程，包括模型蒸馏原理、BERT蒸馏技巧和经典模型如Distilled BiLSTM、BERT-PKD、DistillBERT等的介绍。文章详细阐述了如何进行蒸馏，以及蒸馏过程中关键参数的选择，提供了蒸馏代码实战的指导，是理解并实践BERT模型蒸馏的全面指南。

简介

目录：

  • 蒸馏是什么？怎么蒸BERT？

  • BERT蒸馏有什么技巧？如何调参？

  • 蒸馏代码怎么写？有现成的吗？

今天rumor就结合Distilled BiLSTM/BERT-PKD/DistillBERT/TinyBERT/MobileBERT/MiniLM六大经典模型，带大家把BERT蒸馏整到明明白白！

模型蒸馏原理

Hinton在NIPS2014[1]提出了知识蒸馏（Knowledge Distillation）的概念，旨在把一个大模型或者多个模型ensemble学到的知识迁移到另一个轻量级单模型上，方便部署。简单的说就是用小模型去学习大模型的预测结果，而不是直接学习训练集中的label。

在蒸馏的过程中，我们将原始大模型称为教师模型（teacher），新的小模型称为学生模型（student），训练集中的标签称为hard label，教师模型预测的概率输出为soft label，temperature(T)是用来调整soft label的超参数。

蒸馏这个概念之所以work，核心思想是因为好模型的目标不是拟合训练数据，而是学习如何泛化到新的数据

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文解读】Med-BERT: 用于疾病预测的大规模结构化电子健康记录的预训练情境化嵌入
小哲的博客
10-31 760
Med-BERT 是一种基于预训练的语义模型，它是在BERT的基础上进行了修改，专门用于处理结构化的电子健康记录（EHR）数据。Med-BERT 的架构由两个部分组成：Med-BERT 和预测头。其中，Med-BERT 部分的参数被加载并初始化自预训练模型，而预测头的参数则在微调过程中更新。Med-BERT 使用了六个层、六个注意力头和一个隐藏维度为192的变压器架构。在预训练阶段，Max Sequence Length 被设置为512个标记。
模型蒸馏探索(Bert)
热门推荐
u013596454的博客
09-28 6万+
1. 蒸馏是什么？ ​  所谓的蒸馏，指的是从大模型（通常称为teacher model）中学习小模型（通常称为student model）。何以用这个名字呢？在化学中，蒸馏是一个有效的分离沸点不同的组分的方法，大致步骤是先升温使低沸点的组分汽化，然后降温冷凝，达到分离出目标物质的目的。那么，从大模型中，通过一定的技术手段，将原模型中的知识提取出来，这个过程很类似于物质分离，所以将其称为是蒸馏。 2. 蒸馏方法 2.1 Logit Distillation  深度学习巨头Hinton提出，是一篇开创性的工作
bert_distill：BERT蒸馏（基于BERT的蒸馏实验）
02-03
基于BERT的蒸馏实验 参考论文《从BERT提取任务特定的知识到简单神经网络》 分别采用keras和pytorch基于textcnn和bilstm（gru）进行了实验 实验数据分割成1（有标签训练）：8（无标签训练）：1（测试） 在情感2分类服装的数据集上初步结果如下： 小模型（textcnn＆bilstm）准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91 蒸馏模型准确率在0.87〜0.88 实验结果与论文某些基本一致，与预期相符 后续将尝试其他更有效的蒸馏方案 使用方法 首先finetune BERT python ptbert.py 然后把BERT的知识蒸馏到小模型里
BERT模型蒸馏有哪些方法？
Paper weekly
10-12 1256
©PaperWeekly 原创 ·作者｜蔡杰学校｜北京大学硕士生研究方向｜问答系统我们都知道预训练模型的标准范式：pretrain-利用大量的未标记数据通过一些自监督的学习方式学习丰富...
NLP中知识蒸馏
qq_41980734的博客
02-01 2992
nlp中知识蒸馏
BERT蒸馏完全指南｜原理/技巧/代码
zenRRan的博客
11-05 2163
来自：李rumor小朋友，关于模型蒸馏，你是否有很多问号：蒸馏是什么？怎么蒸BERT？BERT蒸馏有什么技巧？如何调参？蒸馏代码怎么写？有现成的吗？今天rumor就结合Distilled...
Google Bert 框架简单蒸馏实践
温染的笔记
06-14 1588
预训练语言模型，然后对下游任务进行微调已成为自然语言处理的新范例。预训练语言模型（PLM），例如 BERT、XLNet、RoBERTa 在许多 NLP 任务中都取得了巨大的成功。但是，PLM 通常具有大量的参数，并且需要较长的推断时间，因此很难在移动设备上进行部署。此外，最近的研究也证明了 PLM 中存在冗余。因此，在保持性能的同时减少 PLM 的计算开销和模型存储至关重要且可行。本篇博客主要讲述论文《Distilling the Knowledge in a Neural Network》以及如何将论
BERT微调与知识蒸馏在SQuAD 2.0上的应用
资源摘要信息:"在本资源中，我们讨论了BERT模型的微调过程，以及如何应用知识蒸馏技术（KD）将其应用于问答任务，具体是在SQuAD 2.0数据集上。此外，本资源包含实现这一目标的代码，以及对BERT作为教师模型和经过...
mtdnn-kd.pdf
08-17
BERT（Bidirectional Encoder Representations from Transformers）是一种大规模预训练模型，它通过Transformer架构学习到丰富的语言表示，已经在多项NLP任务上取得了显著成果。论文中提到了BERT作为基线模型，并...
NLP中的知识蒸馏技术：BERT模型的轻量化应用
知识蒸馏可以应用于BERT模型，通过将BERT-12（Teacher模型）的知识传递给BERT-3（Student模型），期望Student模型在参数量大为减少的同时，能保持或甚至超越Teacher模型的性能。这里的BERT-3可能指的是对BERT模型...
心法利器[1] | NLP知识蒸馏思考
baidu_25854831的博客
09-26 1183
【前沿重器】全新栏目，本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。往期回顾前沿重器[1] | 微软小冰-多轮和...
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏 知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算资源使用。 目录结构 1.参考 (Hinton et al., 2015), 在cifar10数据上的复现，提供一个对Knowledge Distillation的基本认识，具体内容请查阅： 2.利用BERT-12 作为Teacher，BERT-3作为student，同时学习ground truth 和 soften labels，性能与Teacher 相当甚至更优，具体内容请查阅： 主要参考论文： 3.利用模块替换的思路，来进行Knowledge Distillation，具体内容请查阅： 论文： Blog: repo: 4.利用不同样本预测的难易
BERT知识蒸馏
yaohaishen的专栏
06-08 1679
预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单，不断刷新记录，但是，BERT庞大的参数量所带来的空间跟时间开销限制了其在下游任务的广泛应用。基于此，人们希望能通过Bert得到一个更小规模的模型，同时基本具备Bert的能力，从而为下游任务的大规模应用提供可能性。目前许多跟Bert相关的蒸馏方法被提出来，本章节就来分析下这若干蒸馏方法之间的细节以及差异。 知识蒸馏由两个模型组成，teacher模型跟student模型，一般teacher模型规模跟参数量都比较庞大，所以能力更强，
BERT知识蒸馏TinyBERT
null的专栏
11-08 1382
在TinyBERT中，精简了BERT模型的大小，设计了三种层的蒸馏，分别为transformer-layer，embedding-layer以及prediction-layer。同时，为了能够对以上三层的蒸馏，文中设计了两阶段的训练过程，分别与BERT的训练过程对应，即预训练和fine-tunning。
【BERT蒸馏】DistilBERT、Distil-LSTM、TinyBERT、FastBERT（论文+代码）
一个nlp探险者的博客
10-24 8405
引言
BERT知识蒸馏Distilled BiLSTM
null的专栏
09-16 1392
Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。在BiLSTM中，多个隐层状态的融合有不同的方法，如上面直接用最后一个隐层状态作为最终的状态，实际上，可以使用Attention的方法综合多个隐层状态作为最终的状态能够进一步增强模型的效果。
【轻量化深度学习】知识蒸馏与NLP语言模型的结合
我的技术栈碎碎念空间
04-26 3026
Knowledge Distillation Student : Wenxuan Zeng School : University of Electronic Science and Technology of China ​ Date : 2022.3.25 - 2022.4.3 文章目录Knowledge Distillation1 Knowledge的定义2 Soft targets3 T-Softmax4 知识蒸馏4.1 蒸馏流程4.2 Loss function4.3 预测值匹配是一
【NLP】模型压缩与蒸馏！BERT的忒修斯船
fengdu78的博客
02-16 686
作者|许明整理 | NewBeeNLP公众号如果忒修斯的船上的木头被逐渐替换，直到所有的木头都不是原来的木头，那这艘船还是原来的那艘船吗？-普鲁塔克最近遇到一个需要对算法加速的场...
给Bert加速吧！NLP中的知识蒸馏Distilled BiLSTM论文解读
zenRRan的博客
10-18 1089
每天给你送来NLP技术干货！来自：ChallengeHub论文题目：Distilling Task-Specific Knowledge from BERT into Simple Neu...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

静静喜欢大白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值