BERT模型蒸馏有哪些方法？

最新推荐文章于 2022-10-24 07:31:33 发布
最新推荐文章于 2022-10-24 07:31:33 发布
阅读量1.1k 收藏 3
点赞数 1
文章标签： 机器学习 人工智能 深度学习 神经网络 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9yv2cf9i06k2a9e/article/details/109039823
版权

©PaperWeekly 原创 · 作者｜蔡杰

学校｜北京大学硕士生

研究方向｜问答系统

我们都知道预训练模型的标准范式：

  • pretrain-利用大量的未标记数据通过一些自监督的学习方式学习丰富的语义和句法知识。例如：Bert 的 MLM，NSP 等等。

  • finetune-将预训练过程中所学到的知识应用到子任务中，以达到优异的效果。

预训练模型在各个领域虽然带来了巨大的提升，但是也有一些致命的问题：

  • 预训练模型高计算复杂度-不可能在实时系统中运行。

  • 大存储需求——预训练模型一般都很大，少则几百 M，大则几 G，无法在有限资源的设备上部署。

所以模型压缩和加速技术的研究迫在眉睫！

Logit Distillation

知识蒸馏最早是 Hinton 在 15 年提出的一个黑科技技术，核心思想是通过迁移知识，从而通过训练好的大模型得到更加适合推理的小模型。

论文标题：Distilling the Knowledge in a Neural Network

论文来源：NIPS 2014

论文链接：http://arxiv.org/abs/1503.02531

神经网络通常使用 “softmax” 输出层生成每个类别的概率：

输出层通过将 与其他 logit 进行比较，以

最低0.47元/天 解锁文章
PaperWeekly
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BERT知识蒸馏
yaohaishen的专栏
06-08 1454
预训练模型BERT以及相关的变体自从问世以后基本占据了各大语言评测任务榜单，不断刷新记录，但是，BERT庞大的参数量所带来的空间跟时间开销限制了其在下游任务的广泛应用。基于此，人们希望能通过Bert得到一个更小规模的模型，同时基本具备Bert的能力，从而为下游任务的大规模应用提供可能性。目前许多跟Bert相关的蒸馏方法被提出来，本章节就来分析下这若干蒸馏方法之间的细节以及差异。 知识蒸馏由两个模型组成，teacher模型跟student模型，一般teacher模型规模跟参数量都比较庞大，所以能力更强，
模型压缩-方案(四)：模型蒸馏【先用完整复杂模型基于训练集训练出来一个老师模型，然后设计一个小的学生模型，再固定老师模型的权重参数，然后设计一系列Loss，让学生在蒸馏中的预测精度逐渐逼近老师】
u013250861的博客
03-05 5443
名词解释其中，专门针对Bert模型的蒸馏方法有很多，如tinybert，distillBert,pkd-bert等等。下面我就从上述几个角度分别总结一下。主要关注的是将蒸馏方法仅作用在Finetune阶段。经过实验，发现仅在对Finetune后的原始模型进行蒸馏，很难保持原始的精度，或多或少都会有一定程度的精度损失。我们能做的就是在inference性能和inference精度两边做一定的平衡。...
模型蒸馏技术（Knowledge Distillation）
04-12 1257
先说下什么是蒸馏，顾名思义，白酒蒸馏出来就是高度酒，水蒸馏出来就是蒸馏水（纯净），所以算法领域的蒸馏技术就是要把大的模型，大的知识，进行提纯，以达到小容量便可以解决大问题的效果。一般是压缩模型规模，后续演化也可以通过teacher&student方式提升算法准确度。 未完待续 ...
【模型蒸馏】从入门到放弃：深度学习中的模型蒸馏技术
zandaoguang的博客
04-12 4603
点击上方，选择星标或置顶，每天给你送干货！阅读大概需要17分钟跟随小博主，每天进步一丢丢来自 |知乎 作者 | 小锋子Shawn地址 | https://zhuanlan.zhi...
模型蒸馏概述和实验
zc199329的博客
09-11 7516
目录 1 杂谈 2 蒸馏方法概述。 2.1 基于最后输出层的蒸馏 2.2 基于中间结果层的蒸馏 2.3 基于元学习的蒸馏 3 实验结果和参考代码 1 杂谈 鉴于目前算法和数据的瓶颈，我最近研究了一下模型蒸馏，目的是通过大模型能够带动我需要的小模型。目前的模型蒸馏这方面的研究已经不少了，专业术语上也有了KD（Knowl-edge Distillation (KD)），know...
bert_distill：BERT蒸馏（基于BERT的蒸馏实验）
02-03
小模型（textcnn＆bilstm）准确率在0.80〜0.81 BERT模型准确率在0.90〜0.91蒸馏模型准确率在0.87〜0.88实验结果与论文某些基本一致，与预期相符后续将尝试其他更有效的蒸馏方案使用方法首先finetune BERT python ...
基于Bert进行知识蒸馏的预训练语言模型-demo
04-11
用相关任务的数据对Bert进行fine-tune得到fine-tune的Bert base模型； 用2得到的模型再继续蒸馏得到fine-tune的student model base，注意这一步的student model base要用1中通用的student model base去初始化；（词...
bert-distillation:用催化剂框架蒸馏BERT模型
05-14
伯特蒸馏 对于更通用的管道，请遵循库和。 我不再支持该项目。 ... 如本文所示，这种方法导致质量下降较小，减小模型尺寸并加快推理速度，尤其是在移动设备上。 用法 在催化剂框架中，有两种运行实
基于Bert进行知识蒸馏的预训练语言模型python源码+项目说明.zip
最新发布
04-11
基于Bert进行知识蒸馏的预训练语言模型python源码+项目说明.zip 基于Bert进行知识蒸馏的预训练语言模型python源码+项目说明.zip 基于Bert进行知识蒸馏的预训练语言模型python源码+项目说明.zip 基于Bert进行知识蒸馏...
Google开源BERT模型源代码.pdf
05-10
[Objective] This paper compares the prediction accuracy and efficiency of different machine learning algorithms, aiming to identify new consumers with repeat purchase intentions. It also provides a theoretical framework for customer classification. [Methods] First, we collected the server logs of a dealer on Taobao.com from 2015 to 2018,as well as its orders and consumers’ personal information. And then, we used different algorithms to train theproposedmodels. [Results] The SMOTE algorithm combined with the random forest algorithm obtained the highest prediction accuracy of 96%. [Limitations] The sample data size needs to be expanded. [Conclusions] The fusion algorithm basedon SMOTE and random forest has better performance in predicting repurchase intentions of new consumers.
动态BERT（Dynamic BERT with Adaptive Width and Depth）【华为-诺亚实验室】.pdf
04-13
在本文中，我们提出了一种新的动态BERT模型(简称DynaBERT)，它可以在自适应的宽度和深度上运行。DynaBERT的训练过程包括首先训练一个宽度自适应的BERT，然后通过从全尺寸的模型中提取知识到小的子网络中，允许自适应的宽度和深度。
诺亚面向语音语义的深度学习研究进展-刘晓华
08-02
本文来自华为诺亚方舟实验室资深专家刘晓华在携程技术中心主办的深度学习Meetup中的主题演讲，介绍了华为诺亚面向语音语义的深度学习进展。文章：http://geek.csdn.net/news/detail/92724
模型蒸馏（Distillation）
喜欢打酱油的老鸟
11-27 9033
模型在训练后需要更改，以创建更紧凑的表示形式。这一过程的主要实现技术包括剪枝（pruning）和知识蒸馏。 知识蒸馏的基本理念，是考虑到较大网络内部存在的稀疏性或冗余性。虽然大规模网络具有较高的表示能力，但如果网络容量未达到饱和，则可以用具有较低表示能力的较小网络（即较少的神经元）表示。在 Hinton 等人 2015 年发表的研究工作中，将 Teacher 模型中转移给 Student 模型的嵌入信息称为“黑暗知识”（dark knowledge）。 下图给出了知识蒸馏的过程： 图 ..
Bert及其变种和应用场景
04-09 1996
RoBERTa:https://zhuanlan.zhihu.com/p/103205929 使用动态mask FULL-SENTENCES without NSP 更大的bs 更大的byte-level BPE Soft-Masked BERT 修正网络是一个基于BERT的序贯多类标记模型 DistilBERT： 原理：这个的做法就是用蒸馏12层的BERT得到6层的DistilBERT，首先预训练好BERT，然后用训练BERT的大规模预料来蒸馏12层的BE...
基于BERT模型实现文本分类任务（transformers+torch）
weixin_43646592的博客
08-04 8981
 ????BERT的原理分析可以看这：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》论文笔记  ????代码实现主要用到huggingface的transformers库（4.9.1）和torch库（1.6.0） pip install transformers pip install torch ????先说下我的做法：  取了最后4层，按768那个维度进行拼接，拼完就是4*768。然
DynaBERT: Dynamic BERT with Adaptive Width and Depth（2020-4-8）
weixin_49346755的博客
10-24 285
预训练模型，如BERT，在自然语言处理任务中的强大之处是毫无疑问，但是由于模型参数量较多、模型过大等问题，在部署方面对设备的运算速度和内存大小都有着极高的要求。因此，面对实际产业应用时，比如将模型部署到手机上时，就需要对模型进行瘦身压缩。近年的模型压缩方式基本上都是将大型的BERT网络压缩到一个固定的小尺寸网络。而实际工作中，不同的任务对推理速度和精度的要求不同，有的任务可能需要四层的压缩网络而有的任务会需要六层的压缩网络。
【NeurIPS2020】之预训练语言模型压缩
zenRRan的博客
03-27 517
近期，大规模和超大规模预训练模型近期频繁出现在各大新闻媒体，从聊天到创作，一步一步刷新了我们的认知。但是我们想拿来就用的梦想却被手头的设备要求扼杀在了萌芽中。模型压缩是解决这个问题非常自然...
FastBERT：具有自适应推断时间的自蒸馏BERT
weixin_41089007的博客
04-10 2580
FastBERT: a Self-distilling BERT with Adaptive Inference Time 写在前面： 这是北大+腾讯+北师大的ACL2020。作者提出了一种新的inference速度提升方式，sample-wise adaptive mechanism，相比单纯的student蒸馏有更高的确定性，且可以自行权衡效果与速度，简单实用。这篇论文的方法可以说就是为了...
BERT模型优化方法综述：Transformer编码器的改进及应用
本文结合现有文献，对BERT模型的主要优化改进方法进行了综述，从模型结构、训练技巧、数据增强和知识蒸馏等方面进行了深入分析和总结。 首先，本文对BERT模型的模型结构进行了讨论。研究表明，BERT模型的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值