论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

最新推荐文章于 2023-12-12 14:30:36 发布
最新推荐文章于 2023-12-12 14:30:36 发布
阅读量364 收藏 2
点赞数 1
分类专栏： 论文阅读 文章标签： 论文阅读 bert DistilBERT RoBERTa 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38124427/article/details/131648665
版权
DistilBERT是通过知识蒸馏技术从BERT中提取出的一个更小、更快、成本更低的模型，其参数量仅为BERT的40%，但在GLUE基准测试中达到了BERT的97%性能。该模型在保留高效性能的同时，提高了推理速度，适合资源有限的环境。
摘要由CSDN通过智能技术生成

论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter

1. 文章简介

  • 标题：DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
  • 作者：Victor SANH, Lysandre DEBUT, Julien CHAUMOND, Thomas WOLF
  • 日期：2019
  • 期刊：arxiv preprint

2. 文章概括

  文章给出了对BERT[1]模型进行知识蒸馏的方法，并训练得到了DistilBERT，参数量仅为BERT的40%，且在多个自然语言理解、分类任务上表现接近BERT。

3 文章重点技术

3.1 知识蒸馏

  知识蒸馏是一种常用的压缩模型的方法，可以用更轻量级的模型达成几乎和原模型相同的效果。
发展
  随着NLP模型的发展（见上图），模型量级越来越大，实际使用时可能会收到时间、存储、硬件等限制。为此文章提出了用知识蒸馏来对BERT模型进行压缩。知识蒸馏中我们将原始的大模型称为教师模型Teacher model，我们要生成的小模型称为学生模型Student model。知识蒸馏分为两个步骤

  • 监督学习：学生模型根据标注数据进行监督学习，在文本中此过程的损失函数即为BERT的
    MLM(Masked Language Modeling)损失函数 L M L M L_{MLM} LMLM​。
  • Teacher模型学习：学生模型学习教师模型的行为，这里采用损失函数 L c e = ∑ i t i log ⁡ ( s i ) L_{ce} = \sum_i t_i \log (s_i) Lce​=∑i​t
最低0.47元/天 解锁文章
Isawany
关注
专栏目录
[论文笔记]DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
日积月累，天道酬勤
09-25 2274
DistilBERT论文阅读笔记。
Transformer大模型实战 训练学生BERT 模型（DistilBERT 模型）
最新发布
AI天才研究院
07-28 126
Transformer大模型实战：训练学生BERT模型（DistilBERT模型） 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍
DistilBERT, a distilled version of BERT
zephyr_wang的博客
07-14 357
DistilBERT：预训练模型。将BERT模型大小减少40%，却仍保持97%的语言理解能力，以及快了60%。
[DistilBERT]论文实现：DistilBERT：a distilled version of BERT: smaller, faster, cheaper and lighter
bigcrab的博客
12-12 1380
这篇论文引入了一种结合语言建模，蒸馏，余弦距离损失的三重损失，利用该损失在预训练阶段使用知识蒸馏，可以减少模型的大小，保持的能力，同时加快的速度；虽然说和类的模型在处理任务时带来了极大的改进；但是NLP领域出现了一种现象，就是在模型越大的时候，模型的效果就越好，我估计这也是大厂疯狂卷算力的原因吧；
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter（2019-10-2）
weixin_49346755的博客
10-08 277
NLP预训练模型随着近几年的发展，参数量越来越大，受限于算力，在实际落地上线带来了困难，针对最近最为流行的BERT预训练模型，提出了DistilBERT，在保留97%的性能的前提下，模型大小下降40%，inference运算速度快了60%。为了利用大模型在预训练过程中学习到的归纳偏差，引入了结合语言建模、蒸馏和余弦距离损失的三重损失。
DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter学习
hxshine的博客
02-23 424
1. 总结 论文地址 论文写得很简单，但是引用量好高啊
DistilBERT 论文笔记
shuaiZuJiaoFu的博客
10-20 375
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》论文阅读笔记，自己的一些理解和思考
BERT系列经典文章阅读
weixin_38124427的博客
05-16 364
BERT系列文章原文及笔记整合
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》论文笔记
weixin_43646592的博客
08-16 563
论文来源：NIPS-2019（hugging face发布） 论文链接：https://arxiv.org/abs/1910.01108 ⭐背景结束：  近年来NLP领域，在大型预训练模型上进行迁移学习非常成功。同时，一些关于预训练模型的研究也指明训练更大的模型将更有利于下游任务。但是这些大模型，训练成本高，在资源受限的情况下模型推理速度达不到要求，难以部署到实际应用场景。   ????主要内容：  而论文则提出了一个更小的通用语言表示预训练模型，称为DistileBERT。它是在预训练阶段利用了知识蒸馏
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》（NeurIPS-2019）论文阅读
qq_34372112的博客
08-04 635
前言 论文地址：https://arxiv.org/abs/1910.01108 代码地址：https://github.com/huggingface/transformers Abstract 就是蒸馏bert，减少参数，加快速度。 1、Introduction 基于 Transformer 的与预训练的模型尺寸越来越大： 模型越来越大，速度也越来越慢，然后作者提出蒸馏的方法解决该问题。 作者在这篇论文中证明了使用预先经过知识蒸馏训练的小得多的语言模型可以在许多下游任务上达到相似的性能，从而使
Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT 翻译
weixin_41089007的博客
12-15 718
paper:https://arxiv.org/pdf/1910.01108v2.pdf code:https://github.com/huggingface/transformers Time: 2019.10 在过去的18个月中，在过去的18个月中，几乎所有的自然语言处理任务都从大型语言模型进行迁移学习这一方式达到了SOTA效果。通常基于Vaswani等人的Transformer体...
DistillBERT
Facico的博客
02-17 679
DistillBERT DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter 不同于two-step，distillBERT在预训练的时候蒸馏 知识蒸馏 softmax的温度 知识蒸馏的loss soft labels/soft prediction：teacher输出soft labels作为结果提供给student学习，最后得到distillation loss(Lsoft\mathcal{L
论文阅读——DistilBERT
weixin_43575791的博客
10-27 469
DistilBERT具有与BERT相同的一般结构，层数减少2倍，移除token类型嵌入和pooler。从老师那里取一层来初始化学生。大batch,4k,动态mask,去掉NSP。训练数据：和BERT一样。
LM详解 Bert系 ，DistilBERT，论文译读
apache的专栏
03-12 1574
Bert 3 Bert - - - 3.0 输入/输出表示形式 为了使BERT处理各种下游任务，我们的输入表示形式可以在一个分词序列中明确表示单个句子和 一对句子（例如 <Question，Answer>）。在整个工作中，“句子”可以是任意跨度的连续文本， 而不是实际的语言句子。“序列”指BERT的输入分词序列，它可以是一个句子或两个句子包装在一起。 我们使用WordPiece嵌入（Wu et al。，2016）,含有30,000个分词词汇表。每个序列的第一个符号 总是特殊分...
【BERT蒸馏】DistilBERT、Distil-LSTM、TinyBERT、FastBERT（论文+代码）
一个nlp探险者的博客
10-24 7443
引言
预训练模型参数量越来越大？这里有你需要的BERT推理加速技术指南
Paper weekly
11-09 2231
©作者 | 徐超单位 | 微软亚洲互联网工程院研究方向 | 文本相关性、多语言扩展基于 Transformer 的预训练模型，尤其是 BERT，给各种 NLP 任务的 performanc...
Bert改进模型汇总（5）
J~的博客
02-11 1792
目录 DistillBert:a distilled version of BERT: smaller,faster, cheaper and lighter TinyBert:: DISTILLING BERT FOR NATURAL LANGUAGE UNDERSTANDING Reference DistillBert:a distilled version of BERT: s...
NLP之DistilBERT：DistilBERT的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
11-07 5265
​ NLP之DistilBERT：DistilBERT的简介、安装和使用方法、案例应用之详细攻略 目录 相关论文 DistilBERT的简介 DistilBERT的安装和使用方法 DistilBERT的案例应用 相关论文 《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》翻译与解读 地址 论文地址：https://arxiv.org/abs/1910.01108 时间
更小的模型，迈向更快更环保的NLP
Kaiyuan_sjtu的博客
04-10 2392
写在前面 越大的模型总是越好吗？ 长期以来，在屠虐各大排行榜的驱动下，NLP players对此问题的答案似乎是肯定的。 从Google于2018年10月发布BERT（基本版本为1.1亿个参数）到Salesforce于2019年9月发布的CTRL（16.3亿个参数），直到微软最近发布的T-NLG（170亿个参数），语言模型规模的增长似乎势不可挡。 相反地，NLP社区中也存在推动较小模型发展的趋势，...
UML Distilled 3rd：精要篇（一）- 类图与属性详解
在UMLDistilled3rd的学习笔记中，我们聚焦于ClassDiagrams，这是软件设计和分析的关键工具。类图是UML的核心组成部分，它以图形方式展示了系统中的实体（对象）及其相互关系。类图主要关注对象的静态特性（如属性和...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值