[论文笔记]DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

已于 2022-08-11 13:46:31 修改
阅读量2.4k 收藏 2
点赞数 5
分类专栏： 论文翻译/笔记 文章标签： bert 自然语言处理 DistilBERT
于 2021-09-25 21:06:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjw123456/article/details/120477598
版权
DistilBERT是BERT的一个轻量化版本，通过知识蒸馏技术，将模型大小减小到40%，速度提高60%，在多项任务中表现接近BERT的97%。它采用三重损失函数进行训练，包括有监督MLM损失、蒸馏MLM损失和词向量余弦损失。DistilBERT适用于设备本地运行，提高隐私保护。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

引言

本文是DistilBERT1的阅读笔记。

核心思想

DistilBERT是一个更小更快的BERT模型，类似ALBERT，也是用来给BERT瘦身的。

DistilBERT应用了基于三重损失(Triplet Loss)的知识蒸馏(knowledge distillation)方法。相比BERT模型，DistilBERT的参数量压缩至原来的40%，同时带来60%的推理速度提升，并且在多个下游任务上达到BERT模型效果的97%。

并且该模型可以放到像手机📲(on-device)这类设备上运行，具备的好处就是更好的隐私保护，一些隐私数据可以不用上传到服务器，直接在手机端针对这些数据就可以为人们带来个性化的服务。

模型剖析

DistilBERT的名字中Distil就是蒸馏的意思，我们先来看下什么是蒸馏。

蒸馏

蒸馏的解释是加热液体汽化，再使蒸气液化

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Transformer大模型实战 训练学生BERT 模型（DistilBERT 模型）
AI天才研究院
07-28 442
Transformer大模型实战：训练学生BERT模型（DistilBERT模型） 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
weixin_38124427的博客
07-10 488
DistilBERT：40%的参数实现对BERT的蒸馏
DistilBERT（Distilled BERT）模型
最新发布
彬彬侠的博客
03-06 2225
DistilBERT（蒸馏BERT）是Hugging Face在2019年提出的一种轻量级BERT模型，通过知识蒸馏（Knowledge Distillation）方式，将BERT压缩为更小的模型，但保持大部分性能。采用知识蒸馏，让学生模型学习教师模型的概率分布和隐藏层表示。减少Transformer层数（6层vs.12层），去掉NSP任务，提高训练和推理效率。可通过Hugging Face transformers直接加载DistilBERT进行推理和微调。适用于文本分类、问答、NER等任务，特别适合低计
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》论文笔记
weixin_43646592的博客
08-16 687
论文来源：NIPS-2019（hugging face发布） 论文链接：https://arxiv.org/abs/1910.01108 ⭐背景结束：  近年来NLP领域，在大型预训练模型上进行迁移学习非常成功。同时，一些关于预训练模型的研究也指明训练更大的模型将更有利于下游任务。但是这些大模型，训练成本高，在资源受限的情况下模型推理速度达不到要求，难以部署到实际应用场景。   ????主要内容：  而论文则提出了一个更小的通用语言表示预训练模型，称为DistileBERT。它是在预训练阶段利用了知识蒸馏
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter学习
hxshine的博客
02-23 446
1. 总结 论文地址 论文写得很简单，但是引用量好高啊
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》（NeurIPS-2019）论文阅读
qq_34372112的博客
08-04 677
前言 论文地址：https://arxiv.org/abs/1910.01108 代码地址：https://github.com/huggingface/transformers Abstract 就是蒸馏bert，减少参数，加快速度。 1、Introduction 基于 Transformer 的与预训练的模型尺寸越来越大： 模型越来越大，速度也越来越慢，然后作者提出蒸馏的方法解决该问题。 作者在这篇论文中证明了使用预先经过知识蒸馏训练的小得多的语言模型可以在许多下游任务上达到相似的性能，从而使
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter（2019-10-2）
weixin_49346755的博客
10-08 340
NLP预训练模型随着近几年的发展，参数量越来越大，受限于算力，在实际落地上线带来了困难，针对最近最为流行的BERT预训练模型，提出了DistilBERT，在保留97%的性能的前提下，模型大小下降40%，inference运算速度快了60%。为了利用大模型在预训练过程中学习到的归纳偏差，引入了结合语言建模、蒸馏和余弦距离损失的三重损失。
DistilBERT 论文笔记
shuaiZuJiaoFu的博客
10-20 481
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》论文阅读笔记，自己的一些理解和思考
BERT系列经典文章阅读
weixin_38124427的博客
05-16 496
BERT系列文章原文及笔记整合
Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT 翻译
weixin_41089007的博客
12-15 751
paper:https://arxiv.org/pdf/1910.01108v2.pdf code:https://github.com/huggingface/transformers Time: 2019.10 在过去的18个月中，在过去的18个月中，几乎所有的自然语言处理任务都从大型语言模型进行迁移学习这一方式达到了SOTA效果。通常基于Vaswani等人的Transformer体...
DistilBERT, a distilled version of BERT
zephyr_wang的博客
07-14 442
DistilBERT：预训练模型。将BERT模型大小减少40%，却仍保持97%的语言理解能力，以及快了60%。
DistilBert:DistilBERT for Chinese 海量中文预训练蒸馏bert模型
04-24
一、DistilBert for Chinese 海量中文预训练蒸馏Bert模型 拟于12月16日发布 target to release on Dec 16th. 拟发布内容 Contents： 1.1 可下载的蒸馏模型，已经训练过 a pretrained chinese DistilBert, others can use it directly or trained again on their own corpus; 1.2 可用于下游任务的例子和代码，包括3个ChineseGLUE(CLUE)的任务 fine tuning examples and codes using DistilBert on three ChineseGLUE(CLUE) tasks; 1.3 小模型基准测评 performance comparsion with albert_tiny, ernie
DistilBERT-base-jp
03-08
语言 执照 日本人 麻省理工学院 日本DistilBERT预训练模型 一个日语DistilBERT预训练模型，该模型在上进行了训练。 找到日语的快速入门指南。 目录 介绍 DistilBERT是基于Bert架构的小型，快速，便宜且轻便的Transformer模型。 与GLUE语言理解基准相比，它的参数比基于BERT的参数少40％，运行速度提高60％，同时保留BERT的97％的性能。 此模型从在AWS p3dn.24xlarge实例上使用官方的Hugging Face实施进行了2周的培训。 关于蒸馏的更多细节可以在以下论文中找到。 Sanh等人的 。 （2019）。 教师模型是。 目前只有PyTorch兼容的砝码可用。 遵循可以生成Tensorflow检查点。 要求 torch>=1.3.1 torchvision>=0.4.2 transformers>=2.5.0 tensor
[DistilBERT]论文实现：DistilBERT：a distilled version of BERT: smaller, faster, cheaper and lighter
bigcrab的博客
12-12 1600
这篇论文引入了一种结合语言建模，蒸馏，余弦距离损失的三重损失，利用该损失在预训练阶段使用知识蒸馏，可以减少模型的大小，保持的能力，同时加快的速度；虽然说和类的模型在处理任务时带来了极大的改进；但是NLP领域出现了一种现象，就是在模型越大的时候，模型的效果就越好，我估计这也是大厂疯狂卷算力的原因吧；
DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter——蒸馏版本：更小、更快、更便宜、更轻便
Together_CZ的博客
01-04 2111
DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter——蒸馏版本：更小、更快、更便宜、更轻便
论文阅读——DistilBERT
weixin_43575791的博客
10-27 525
DistilBERT具有与BERT相同的一般结构，层数减少2倍，移除token类型嵌入和pooler。从老师那里取一层来初始化学生。大batch,4k,动态mask,去掉NSP。训练数据：和BERT一样。
DistilBert解读
fengzhou_的博客
07-08 9266
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》
【BERT蒸馏】DistilBERT、Distil-LSTM、TinyBERT、FastBERT（论文+代码）
一个nlp探险者的博客
10-24 8051
引言
distilbert-base-cased-distilled-squad
01-25
### DistilBERT Base Cased Distilled... 'context': "DistilBERT is a smaller, faster, cheaper and lighter version of BERT.", 'question': "What does DistilBERT offer compared to BERT?" }) print(result) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愤怒的可乐

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值