DistilBERT 论文笔记

已于 2022-10-20 16:14:42 修改
阅读量477 收藏 1
点赞数 1
文章标签： 深度学习 人工智能 自然语言处理
于 2022-10-20 15:04:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shuaiZuJiaoFu/article/details/127424689
版权
DistilBERT是BERT的一个轻量化版本，通过模型蒸馏技术，旨在保持高性能的同时减小模型大小和加快推理速度。文章详细介绍了蒸馏过程、DistilBERT的结构、初始化方法以及损失函数的设计，包括MLM、CE和Cos损失。实验结果显示，DistilBERT在精度上仅轻微下降，但在速度和参数量上有显著提升。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

单位：HuggingFace
时间：2020.5
发表：NIPS2019
论文链接：https://arxiv.org/pdf/1910.01108.pdf

一、背景

1. 什么是distill（蒸馏）？

蒸馏简单的说是将大模型（teacher）的学习结果，作为小模型（student）的学习目标，意在小模型能学习到大模型的表示。

蒸馏这个方法的核心思想是：好模型的目标不是拟合训练数据而是学习如何泛化到新的数据。

所以蒸馏的目标是让学生模型学习到教师模型的泛化能力，理论上得到的结果会比单纯拟合训练数据的学生模型要好。

2. BERT有哪些短板？

从应用落地的角度来说，bert虽然效果好，但有一个短板就是预训练模型太大，预测时间在平均在300ms以上（一条数据），无法满足线上并发量要求高的业务需求。

二、DistilBERT, a distilled version of BERT

1. 作者的思路

之前的模型蒸馏本质上都是两个loss，即distillation loss和student loss

这样模型学到的都是精调后的知识，即模型都是任务相关的，作者想蒸馏出一个任务无关的BERT，这样通用性更强，在具体任务时做具体的精调即可。

2. 具体做法

I. 模型结构

教师模型采用预训练好的BERT-base，学生模型则是6层的transformer。

II. 学生模型初始化方法

采用了BERT-PKD提出的PKD-skip的方式进行初始化，即用BERT-base的第[2,4,6,8,10]层的参数作为学生模型的参数。

III. Loss的设计

损失函数最终有三个，具体为：

  • MLM loss

最低0.47元/天 解锁文章
shuaiZuJiaoFu
关注
[论文笔记]DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
日积月累，天道酬勤
09-25 2436
DistilBERT论文阅读笔记。
bert_distill：BERT蒸馏（基于BERT的蒸馏实验）
02-03
基于BERT的蒸馏实验 参考论文《从BERT提取任务特定的知识到简单神经网络》 分别采用keras和pytorch基于textcnn和bilstm（gru）进行了实验 实验数据分割成1（有标签训练）：8（无标签训练）：1（测试） 在情感2分类服装的数据集上初步结果如下： 小模型（textcnn＆bilstm）准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91 蒸馏模型准确率在0.87〜0.88 实验结果与论文某些基本一致，与预期相符 后续将尝试其他更有效的蒸馏方案 使用方法 首先finetune BERT python ptbert.py 然后把BERT的知识蒸馏到小模型里
DistillBERT
Facico的博客
02-17 719
DistillBERT DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter 不同于two-step，distillBERT在预训练的时候蒸馏 知识蒸馏 softmax的温度 知识蒸馏的loss soft labels/soft prediction：teacher输出soft labels作为结果提供给student学习，最后得到distillation loss(Lsoft\mathcal{L
DistilBERT（Distilled BERT）模型
最新发布
彬彬侠的博客
03-06 2048
DistilBERT（蒸馏BERT）是Hugging Face在2019年提出的一种轻量级BERT模型，通过知识蒸馏（Knowledge Distillation）方式，将BERT压缩为更小的模型，但保持大部分性能。采用知识蒸馏，让学生模型学习教师模型的概率分布和隐藏层表示。减少Transformer层数（6层vs.12层），去掉NSP任务，提高训练和推理效率。可通过Hugging Face transformers直接加载DistilBERT进行推理和微调。适用于文本分类、问答、NER等任务，特别适合低计
一群学术大牛做了份机器学习新期刊Distill：让学术论文可交互
weixin_33686714的博客
01-16 697
本文来自AI新媒体量子位（QbitAI） 机器学习研究几乎每周都有新进展，不过，这些新进展变成论文呈现在我们眼前的方式，可以说是百余年不变。 昨天，Google Brain的Chris Olah和Shan Carter发布了一份专注于机器学习研究的新期刊：Distill（http://distill.pub/）。不同于过去百余年间的论文，Dist...
DistilBert解读
fengzhou_的博客
07-08 9229
《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》
Dual-View Distilled BERT for Sentence Embedding
uncle_ll的博客
11-02 575
论文标题：Dual-View Distilled BERT for Sentence Embedding 论文链接：https://arxiv.org/pdf/2104.08675v1.pdf 来源：SIGIR2021 摘要 近年来，BERT通过单词级交叉句子注意实现句子匹配取得了重大进展。然而，当使用孪生BERT网络推导两个句子嵌入时，性能显著下降，由于两个句子之间没有单词级注意，因此无法捕获全局语义。在本文中，提出了一种双视图提取BERT(DvBERT)。我们的方法处理来自两个不同视图的句子对，即sia
论文笔记--DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter
weixin_38124427的博客
07-10 483
DistilBERT：40%的参数实现对BERT的蒸馏
论文笔记：预训练大模型综述（NLP相关部分）
sfgsdfg2516的博客
08-04 1376
预训练基础模型(PFMS)是具有不同数据模式的各种下游任务的基础。PFM(例如BERT、ChatGPT和GPT-4)在大规模数据上进行训练，为广泛的下游应用提供合理的参数初始化。BERT与GPT与传统方法相比具有各自的特点，具体而言：BERT从Transformer中学习双向编码器表示，GPT使用Transformer作为特征提取器，并在大型数据集上训练最近，ChatGPT表现出来卓越的性能，PFM也为人工智能领域带来重大突破许多研究提出了不同的方法、数据集和评估指标，提高了对更新调查的需求。
Supporting Clustering with Contrastive Learning论文笔记
昼
11-05 1096
Supporting Clustering with Contrastive Learning 总结 跟之前读过的Contrastive learning一文整体相似（笔记)，但是clustering head部分略有不同。 Instance-CL(contrastive learning)的问题 它虽然使正样本对之间距离减小，但它在增大负样本对之间距离时，只会尽可能增大它们之间的距离，而完全不顾它们之间的相似性。 网络 分为三部分：feature generator、instance-CL head、c
DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter——蒸馏版本：更小、更快、更便宜、更轻便
Together_CZ的博客
01-04 2085
DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter——蒸馏版本：更小、更快、更便宜、更轻便
DistilBert:DistilBERT for Chinese 海量中文预训练蒸馏bert模型
04-24
一、DistilBert for Chinese 海量中文预训练蒸馏Bert模型 拟于12月16日发布 target to release on Dec 16th. 拟发布内容 Contents： 1.1 可下载的蒸馏模型，已经训练过 a pretrained chinese DistilBert, others can use it directly or trained again on their own corpus; 1.2 可用于下游任务的例子和代码，包括3个ChineseGLUE(CLUE)的任务 fine tuning examples and codes using DistilBert on three ChineseGLUE(CLUE) tasks; 1.3 小模型基准测评 performance comparsion with albert_tiny, ernie
DistilBERT-base-jp
03-08
语言 执照 日本人 麻省理工学院 日本DistilBERT预训练模型 一个日语DistilBERT预训练模型，该模型在上进行了训练。 找到日语的快速入门指南。 目录 介绍 DistilBERT是基于Bert架构的小型，快速，便宜且轻便的Transformer模型。 与GLUE语言理解基准相比，它的参数比基于BERT的参数少40％，运行速度提高60％，同时保留BERT的97％的性能。 此模型从在AWS p3dn.24xlarge实例上使用官方的Hugging Face实施进行了2周的培训。 关于蒸馏的更多细节可以在以下论文中找到。 Sanh等人的 。 （2019）。 教师模型是。 目前只有PyTorch兼容的砝码可用。 遵循可以生成Tensorflow检查点。 要求 torch>=1.3.1 torchvision>=0.4.2 transformers>=2.5.0 tensor
BERT家族：DistillBERT
qq_32223859的博客
05-26 1550
DistillBERT 论文：《DistilBERT, a distilled version of BERT: smaller,faster, cheaper and lighter》 论文地址：https://arxiv.org/pdf/1910.01108 作者/机构：Hugging face 年份：2019.10 DistillBert是在Bert的基础上用知识蒸馏技术训练出来的小型化bert，通过teacher model的soft target作为total loss的一部分，以诱导s
【front-end】Unified Mandarin TTS Front-end Based on Distilled BERT Model
cxxx17的博客
02-10 986
Unified Mandarin TTS Front-end Based on Distilled BERT Model
模型蒸馏，Bert模型蒸馏之distilbert
hanghanghang的博客
05-26 1499
因为现在用的模型越来越大，所以出现了模型蒸馏，模型蒸馏出现的意义在于，用更少的参数，继承模型里面的效果，现在用的模型蒸馏常用teacher-student模型的方式进行蒸馏，整个理念就是让teacher模型学习到模型的大参数，让student模型继承它。 Distill的意思是蒸馏，我们可以从字面上猜测，我们要从一个很大的模型，蒸馏成比较小的模型，也可以用一种角度想，我们让大的模型当作小的模型的老师，而小模型这个学生，只会尽可能的学老师的每个输出。 Bert是12层transformer encode，
NLP-预训练模型-2019-NLU：DistilBERT【 BERT模型压缩】【模型大小减小了40%（66M），推断速度提升了60%，但性能只降低了约3%】
u013250861的博客
12-30 2232
《原始论文：DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》 NLP预训练模型随着近几年的发展，参数量越来越大，受限于算力，在实际落地上线带来了困难，针对最近最为流行的BERT预训练模型，提出了DistilBert，在保留97%的性能的前提下，模型大小下降40%，inference运算速度快了60%。 一、模型蒸馏 Distill的意思是蒸馏，我们可以从字面上猜测，我们要从一个很大的模型，蒸馏成比较
Transformer大模型实战 训练学生BERT 模型（DistilBERT 模型）
AI天才研究院
07-05 701
Transformer大模型实战 训练学生BERT 模型（DistilBERT 模型） 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM
distilbert
02-21
### DistilBERT 模型介绍 DistilBERT 是 BERT 的压缩版本，通过知识蒸馏技术创建而成[^1]。该模型保留了原始 BERT 大约 97% 的性能，而参数量却减少了 40%，推理速度提高了 60%。 #### 主要特点 - **更高效**：相比完整的 BERT 模型，DistilBERT 需要较少计算资源，在实际应用中表现出更高的效率。 - **保持高精度**：尽管进行了大幅简化，但在多种自然语言处理任务上仍能维持较高的准确性。 - **易于部署**：由于体积较小且运行速度快，更适合于移动设备或其他受限环境下的部署。 ### 使用方法示例 为了展示如何使用 DistilBERT 进行问答任务，下面提供了一个简单的 Python 实现： ```python from transformers import AutoTokenizer, AutoModelForQuestionAnswering import torch # 加载预训练的 DistilBERT QA 模型和分词器 tokenizer = AutoTokenizer.from_pretrained('distilbert-base-cased-distilled-squad') model = AutoModelForQuestionAnswering.from_pretrained('distilbert-base-cased-distilled-squad') context = "Transformers are a class of deep learning models that achieve state-of-the-art results on many NLP tasks." question = "What do Transformers achieve?" encodings = tokenizer(context, question, truncation=True, padding=True) input_ids = torch.tensor(encodings['input_ids']).unsqueeze(0) attention_mask = torch.tensor(encodings['attention_mask']).unsqueeze(0) outputs = model(input_ids=input_ids, attention_mask=attention_mask)[^3] start_scores = outputs.start_logits end_scores = outputs.end_logits answer_start = torch.argmax(start_scores) answer_end = torch.argmax(end_scores) + 1 all_tokens = tokenizer.convert_ids_to_tokens(input_ids[0]) print(tokenizer.convert_tokens_to_string(all_tokens[answer_start:answer_end])) ``` 这段代码展示了如何加载预训练好的 DistilBERT 模型并利用其完成特定上下文中的问题回答过程。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值