bert微调

已于 2022-10-09 22:31:16 修改
阅读量1.8k 收藏 5
点赞数
文章标签： bert python 人工智能
于 2022-08-18 09:44:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kanaomi517/article/details/126399370
版权

BERT推理提速方法整理

 

一、BERT模型压缩

1、剪枝(pruning)

去掉BERT中不必要的部分，内容包括权重大小剪枝、注意力剪枝、网络层以及其他部分的剪枝等。还有一些方法也通过在训练期间采用正则化的方式来提升剪枝能力（layer dropout）。

总体思想是将权重矩阵中不重要的参数设置为0，结合稀疏矩阵来进行存储和计算。通常为了保证performance，需要一小步一小步地进行迭代剪枝。

      

（1）注意力剪枝

有的多头attention无作用

NeurIP文章Are Sixteen Heads Really Better than One?https://arxiv.org/abs/1905.10650

acc维持不变的情况下可推理提速1.2倍。

 

（2）神经元剪枝

神经元剪枝则直接将某个节点直接去掉。对应到权重矩阵中，相当于某一行和某一列置零。常见做法是，计算神经元对应的一行和一列参数的平方和的根，对神经元进行重要性排序，将大小排名最后的k%置零。

 

（3）突触剪枝

突触剪枝剪掉神经元之间的不重要的连接。常见的做法是在权重矩阵中按照数值大小对参数进行排序，将大小排名最后的k%置零即可，k%为压缩率。

 

2、知识蒸馏(knowledge distillation)

基本思想是将知识从大型的，经过预训练的教师模型转移到通常较小的学生模型中，常见的学生模型根据教师模型的输出以及分类标签进行训练。

      

（1）DistillBERT

https://arxiv.org/abs/1910.01108

在bert的基础上用知识蒸馏技术训练出来的小型化bert，可以将BERT模型的大小减少40%，同时保留97%的语言理解能力，速度提高60%。（较好）

 

（2）TinyBERT

TinyBERT: Distilling BERT for Natural Language Understanding | OpenReview

利用对Transformer结构的知识蒸馏和针对pre-training和fine-tuning两阶段的知识蒸馏，在GLUE基准测试中获得了与BERT相当的结果，同时在推断方面比BERT快7.5倍，快9.4倍

      

（3）MobileBERT

MobileBERT: Task-Agnostic Compression of BERT by Progressive Knowledge Transfer | OpenReview

是BERT-LARGE的精简版，比其快4倍。在GLUE的自然语言推理任务中，MobileBERT在Pixel 3手机上实现了0.6 GLUE评分性能下降和367 ms延迟。

      

（4）结合蒸馏和剪枝

https://arxiv.org/abs/1910.06360

推理提速2倍，在自然语言问题的简答准确性损失小于0.5 f1点。

      

（5）将蒸馏bert与bilstm结合

https://arxiv.org/abs/1903.12136

取得了与ELMo模型相似的结果，同时大约减少了100倍的参数并提高15倍的推理速度。

      

（6）一种蒸馏的通用方法

https://arxiv.org/abs/1911.03588

可以用于transformer框架之外模型的蒸馏方法，能提高10倍以上推理速度。

      

3、Theseus 替换（忒修斯压缩）

https://arxiv.org/abs/2002.02925

EMNLP2020 | 模型压缩系列：BERT-of-Theseus(一种基于模块替换的模型压缩方法)_JasonLiu1919的博客-CSDN博客

针对模型微调阶段，先将原始的BERT分为数个模块并为其创建对应的压缩模块(即替代模块)，再随机地用压缩模块替换掉原始的模块，并训练这些压缩模块使其能够效仿原始的模块。在训练过程中逐步增加替换的概率，从而实现整体模块(即整个模型)替换。

模型性能比DistillBERT好，推理速度未知。

 

4、量化(Quantization )

通过减少用于表示每个权重值的精度来压缩模型。例如模型使用float32标准定义参数的精度进行训练，然后我们可以使用量化技术选择float16，甚至int8表示参数的精度用于压缩模型。

（1）动态量化

将32bit浮点型直接替换为8bit整型。可以提速2-3倍，但是准确率会降低2个点左右，而且GPU上不支持此运算。

 

（2）伪量化QAT

在训练过程中进行量化操作。在训练过程中，weight 和 activation 都被“伪量化”为 INT8，但是计算实际仍以 FP32 完成。通过这种方法使模型在训练过程中能够“感知”到量化的影响，同时避免直接使用 INT8 训练导致的无法收敛的情况。

可以实现模型压缩，但对模型加速没有多大效果。

 

（3）聚类伪量化

用k-means等聚类算法，将大小相近的参数聚在一起，分为一类。每一类计算参数的平均值，作为它们量化后对应的值。

      

（4）QBERT模型                                                                                                        https://arxiv.org/abs/1910.06188

在BERT微调阶段进行量化感知训练，以便在最小精度损失的情况下将BERT压缩4倍。此外，所生成的量化模型如果对支持8bit Integer的硬件进行优化，可以加快推理速度。

 

5、权重共享(Weight Sharing)

如ALBERT，12层共用一套参数而使得参数量降低到原来的1/12。这个方案对于模型压缩作用很大，但对于推理加速则收效甚微，因为共享权值并没有带来计算量的减少。

 

6、权重因式分解(Weight Factorization)

基本思想是将原始的大矩阵分解为两个或多个低秩矩阵的乘积。就模型压缩技术而言主要用于全连接层和卷积层。

 

7、网络层合并与计算图优化

资料较少。

 

二、早退机制(Dynamic Early Exiting)

核心是根据样本的难度来匹配相应的计算量。

bert对每个样本都同等的执行了12层运算，忽略了样本之间的难度差异。对于一些比较简单的样本，或许前几层的Layer表示就足以支撑模型进行正确的预测，后续的计算都可以认为是冗余的，从而可以省去以提升推理的速度。

综述文章：基于动态提前退出的预训练模型推理加速简介_分类器

相关paper合集：https://github.com/txsun1997/awesome-early-exiting

 

1、基于句子的退出机制

（1）DeeBERT

DeeBERT: Dynamic Early Exiting for Accelerating BERT Inference - ACL Anthology

设置阈值，若其熵小于某个特定的阈值，说明模型对于当前的预测足够自信，则可以退出，否则则需要继续执行下一层。

在GLUE的分类数据集上进行了实验，发现相比于DistilBERT这类静态模型压缩的方法，能够取得更好的推理加速的效果。

 

（2）FastBERT

FastBERT: a Self-distilling BERT with Adaptive Inference Time - ACL Anthology

https://github.com/TobiasLee/Awesome-Efficient-PLM （里面还有几个作者的其他模型）

速度可调、推理时间自适应。

如果给定不同的加速阈值来权衡速度与性能之间的关系，那么它可以比BERT提高1到12倍的速度。

 

（3）CALM

https://arxiv.org/abs/2207.07061

教大模型自己跳过“无用”层，推理速度×3性能不变，谷歌MIT这个新方法火了

谷歌研究人员提出的新框架。如果CALM意识到某些层“可有可无”，那么它在计算时就会跳过这些层，即让模型根据不同的输入，动态决定要用多少层网络来计算。

推理速度快3倍。

 

（4）PABEE

https://arxiv.org/abs/2006.04152

尝试结合中间不同层的退出决策的一致性进行更加鲁邦的退出决策，其核心是当连续某几层的中间分类器都给出一致的预测结果后，认为这一个样本的预测结果以及足够自信，因而可以提前退出。

推理快1.5倍。

 

2、基于Token 的退出机制

基于上下文窗口中所有 Token 的预测不确定度的最大值，若是其超过了某个设定的阈值，则后续的计算过程中，这一token 的表示将不再被重复计算，而是直接传递到下一层。

（1）Accelerating BERT Inference for Sequence Labeling via Early-Exit

https://github.com/LeeSureman/Sequence-Labeling-Early-Exit

推理快1-4倍。

 

（2）TR-bert

https://aclanthology.org/2021.naacl-main.463.pdf

提速1-3倍。

 

三、其他方法

1、TurboTransformers

https://github.com/Tencent/TurboTransformers

https://www.jianshu.com/p/957e9e7a5358

腾讯开源的BERT推理模型，支持C++和python方式调用，在pytorch基础上增加几行代码可以获得端到端BERT加速，可提速1-4倍。

 

2、招商证券nlp组bert推理提速方案

招商证券BERT压缩实践：如何大幅提高模型推断速度？_AI_招商证券信息技术中心NLP开发组_InfoQ精选文章

招商证券BERT压缩实践（二）：如何构建3层8bit模型？_AI_招商证券信息技术中心NLP开发组_InfoQ精选文章

将压缩模型按任务分为两类：对于（长、短文本）分类任务，使用了 3 层 Theseus 模型+QAT 方法进行压缩，对于其他（文本相似度、因果推断等）任务，使用了 3 层蒸馏+QAT 方法进行压缩。

经过了两步压缩后模型精度下降了 2-3 个点，推理速度提升约4倍。

 

 

参考资料

1、模型压缩方法总结博文（有性能和推理速度的对比表格）

All The Ways You Can Compress BERT | Mitchell A. Gordon

 

2、压缩方法综述

https://arxiv.org/pdf/2002.11985.pdf

 

*KD是知识蒸馏

 

3、从算法应用层、框架层、硬件层考虑加速

一文看懂“深度学习模型压缩和加速” - 脉脉

 

 

芝麻糊了517
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Bert基础(八)--Bert实战之理解Bert微调
Andy_shenzl的博客
03-26 1782
到目前为止，我们已经介绍了如何使用预训练的BERT模型。现在，我们将学习如何针对下游任务微调预训练的BERT模型。需要注意的是，微调并非需要我们从头开始训练BERT模型，而是使用预训练的BERT模型，并根据任务需要更新模型的权重。在本节中，我们将学习如何为以下任务微调预训练的BERT模型。
从零开始大模型开发与微调：BERT预训练任务与微调
禅与计算机程序设计艺术
05-18 868
1.背景介绍 随着人工智能领域的不断发展，深度学习模型在各种任务上都取得了显著的成果。其中，BERT（Bidirectional Encoder Representations from Transformers）模型以其优秀的性能和广泛的应用，成为了自然语言处理领域的明星模型之一。然而，对于大多数开发者来说，从零开始开发和微调大模型，如BERT，仍然
自然语言处理(NLP)-BERT 实战-模型微调-情感分析
2201_75499313的博客
03-20 1114
本篇我们使用公开的微博数据集(weibo_senti_100k)进行训练，此数据集已经进行标注，0: 负面情绪，1:正面情绪。数据集共计82718条(包含标题)。
自然语言处理应用(三)：微调BERT
qq_51957239的博客
09-13 3652
微调（Fine-tuning）BERT是指在预训练的BERT模型基础上，使用特定领域或任务相关的数据对其进行进一步训练以适应具体任务的需求。BERT（Bidirectional Encoder Representations from Transformers）是一种基于Transformer架构的深度双向预训练语言模型，通过在大规模无监督数据上进行预训练，学习到了丰富的语言表示。：根据任务或领域的需求，准备标注的训练数据集。数据集应包含输入文本以及相应的标签或目标。：从预训练的BERT模型中加载参数。
预训练模型-从BERT原理到BERT调包和微调
SHIDACSDN的博客
04-15 2400
一、BERT原理 BERT取名来自 Bidirectional Encoder Representations from Transformers。架构为：预训练 + fine-tuning(对于特定的任务只需要添加一个输出层)。 1、引言 通过预训练语言模型可显著提高NLP下游任务。限制模型潜力的主要原因在于现有模型使用的都是单向的语言模型，无法充分了解到单词所在的上下文结构...
使用GPU进行BERT微调-从0到1爬坑
weixin_41900122的博客
09-11 3308
原先的轻薄本bert微调一次要两个小时，后面配置n卡台式，希望用gpu来微调bert win10+anaconda+pycharm+tensorflow+GPU+bert 遇到很多坑，记录下来以备后面使用。 之前对于gpu的使用是小白，本次从0开始，主要有以下几个部分： 1、安装anaconda 2、安装cuda，cudnn 3、安装tensorflow_gpu 4、使用gpu微调 这里面涉及到了很多架构或包，有些之间是需要保证版本相对应，有些则不用 需要对应的是：cudnn-tensorflow-pyth
从3天到1小时，谷歌给最耗时的BERT预训练时间狂吃加速
喜欢打酱油的老鸟
04-05 8534
https://www.toutiao.com/a6675934997636973067/ BERT是目前最强大的NLP预训练模型，也是工业界目前最耗时的应用，计算量远高于ImageNet。谷歌的研究人员提出新的优化器，使用1024块TPU，将BERT的训练时间从3天成功缩短到76分钟，提速 65.2 倍！ 去年，谷歌发布了最强预训练模型 BERT，宣告了NLP领域的一项重大突破。 B...
为小白创作的第一个bert模型的微调过程
小姑仔的博客
04-24 729
作为一个nlp小白，我在入门的过程之中，遇到了很多的困难和障碍，比如刚开始不知道在哪下载预训练模型文件，不知道到哪去阅读bert模型的源代码，经历了学习之后，如今我已经算是简单的入门了。为了帮助新手更好地入门bert模型，我自己写了一个bert模型的简洁的源代码，方便新手学习 bert分为预训练和微调过程，这里我们只学习微调过程 为了简化操作，只需要进行如下的过程 安装tensorflow==2.x版本之后 安装库的指令 pip install bertforyou==1.1.9 接下来运行下面的对应代码
基于WeiboSenti100k微博评论数据集+Bert微调的中文情感分析源码+使用说明+数据集.zip
05-24
基于WeiboSenti100k微博评论数据集+Bert微调的中文情感分析源码+使用说明+数据集.zip个人经导师指导并认可通过的高分设计项目，评审分98分。主要针对计算机相关专业的正在做课设的学生和需要项目实战练习的学习者，...
Python基于预训练大模型BERT微调完成的词语切分中文分词任务源代码+数据集
04-26
Python基于预训练大模型BERT微调完成的词语切分中文分词任务源代码+数据集
BERT-BiLSTM-CRF-NER:NER任务的Tensorflow解决方案将BiLSTM-CRF模型与Google BERT微调和私有服务器服务结合使用
05-09
BERT-BiLSTM-CRF-NERTensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码'中文文档请查看 ...
对NLI的BERT进行微调
02-16
对NLI的BERT进行微调 简要地解释一下，在此任务中，我开发了一种NLI模型，该模型将关于句子之间的关系的句子对分为“矛盾”，“蕴涵”和“中立”三类。 然后，我执行了超参数调整，以找到最佳的模型。 该项目中使用的数据集是。在其余部分中，我将解释该存储库中的文件（或该项目所需的文件）： NLI_project.ipynb：这是任务的主要笔记本，解释了执行该任务的步骤。 日志：在此文件夹中，您可以找到此任务中训练不同模型的日志。 这些文件由于大小而不会被推送到该存储库中。 这些是保存的经过训练的模型，如有必要，我可以在gogle上分享： first_training.h5 型号_s_b64.h5 型号_s_b16.h5 tuned_model.h5
bert-multitask-learning：用于多任务学习的BERT
02-03
多任务学习专家 注意：从0.4.0开始，tf版本必须大于等于2.1。 安装 pip install bert-multitask-learning 它是什么 这个项目使用变压器（基于拥抱面部变压器）进行多模式多任务学习。 我为什么需要这个 在原始的BERT代码中，多任务学习或多GPU训练都不可行。 另外，该项目的初衷是NER，它在原始BERT代码中没有有效的脚本。 总而言之，与原始bert回购相比，此回购具有以下功能： 多模式多任务学习（重写大部分代码的主要原因）。 多GPU训练 支持序列标记（例如NER）和Encoder-Decoder Seq2Seq（带变压器解码器）。 支持哪些类型
bert-stable-fine-tuning:关于微调BERT的稳定性
03-21
关于微调BERT的稳定性：误解，解释和强大的基准 Marius Mosbach，Maksym Andriushchenko，Dietrich Klakow萨尔大学和EPFL该存储库包含有关“。它是（v2.5.1）的分支。抽象的微调经过预训练的基于变压器的语言模型，...
BERT微调—关系分类任务
qq_41898761的博客
05-28 556
概念 关系分类任务就是从非结构化文本中抽取出结构化知识；具体为：区分出头实体与尾实体之间的语义关系，比如： 给两个实体，判断关系 如何实现 方法一： 将句子输入到BERT模型中，然后分别拿到头实体与尾实体的向量表征（实体多个词的表征经过pooling得到），然后将头尾实体向量拼接，再经过线性层分类 将两个实体，经过编码器编码后，输入线性层进行分类 方法二： BERT的embedding层中加入关系位置编码。在方法一的基础上加上关系位置编码，告诉BERT模型何处为头实体何处为尾实体。 方法三： 在句子中
Pytorch环境下微调BERT以及调参教程
sinat_20829389的博客
03-18 8752
使用Hugginface的Transformers库快速微调BERT等预训练模型，使其适应下游任务，本文以Quora问题对为例，对两问题表意是否一致进行预测 介绍 之前写了个微调BERT的入门教程，步骤比较多，我后来把它都封装成函数了，但用起来还是比较麻烦，而且有时候Transformer库里一些函数方法会改动，这就还要对代码进行调整。最近看Transformers的文档，发现它自己封装了一个trainer()函数，很好用，分享一下 本文相应的jupyter notebook地址为：https://gi.
transformer bert微调实例（文本分类，超详细解析）
王小二的博客
12-21 4240
官方参考文档：https://huggingface.co/docs/transformers/training#additional-resources #transformer bert微调实例：以imdb数据集为基础（二分类），进行文本分类任务的微调 #进行下列步骤之前，要先安装好transformer和pytorch #导入数据,该数据集是一个具有三个键的字典："train","test"和"unsupervised" 。我们使用"train"进行训练，使用 "test"进行验证。 from da
用Attention和微调BERT进行自然语言推断-PyTorch
weixin_51221144的博客
06-23 1032
当需要决定一个句子是否可以从另一个句子推断出来，或者需要通过识别语义等价的句子来消除句子间冗余时，知道如何对一个文本序列进行分类是不够的。相反，我们需要能够对成对的文本序列进行推断。自然语言推断（natural language inference）主要研究假设（hypothesis）是否可以从前提（premise）中推断出来，其中两者都是文本序列。换言之，自然语言推断决定了一对文本序列之间的逻辑关系。这类关系通常分为三种类型：自然语言推断也被称为识别文本蕴涵任务。斯坦福自然语言推断语料库（Stanford
学习笔记-Bert及其变体调参经验
weixin_44358484的博客
05-23 6626
Bert调参： 1、bert的微调可以将参数设置为： bach size ：设置为16或者32 learning rate（Adam）：5e-5、3e-5、2e-5（比较小的学习率） num of epochs：2，3，4 2、Bert的微调比较容易，可以设置验证集，进行一定范围的Grid Search 3、可以在Bert后面接一些层，比如CRF层、Linear层、BiLSTM层 4、为了确保后接层学习的好，可以对后接层设置额外的、较大的学习率 Bert变体 RoBERTa: RoBE
bert微调对比学习
最新发布
05-29
BERT微调和对比学习都是自然语言处理中常用的技术。 BERT微调是指将预训练的BERT模型用于特定任务时，将其参数微调（fine-tune）到目标任务上。通过微调，BERT可以自适应不同的任务，例如文本分类、命名实体识别等。微调过程中，一般会使用目标任务的数据对BERT模型进行训练，以提高其在目标任务上的表现。 对比学习是指通过比较两个文本之间的相似性来进行分类或者判别。对比学习可以避免由于数据不平衡等因素导致的分类错误，常用于文本分类、文本匹配等任务。在对比学习中，通常使用相似度度量函数来衡量两个文本之间的相似程度，例如余弦相似度等。 需要注意的是，BERT微调和对比学习虽然都可以用于自然语言处理中的分类任务，但是它们的方法和应用场景有所不同。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值