BERT使用心得经验分享

最新推荐文章于 2024-09-20 10:27:43 发布
最新推荐文章于 2024-09-20 10:27:43 发布
阅读量5.2k 收藏 9
点赞数 1
分类专栏： 人工智能 自然语言处理 机器学习 文章标签： Bert 人工智能 自然语言处理 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/foxcow2012/article/details/91360636
版权

使用Bert有一段时间了，在项目中确实也能带来提升，这里总结下bert的使用心得。

#1，资源的使用
Bert在训练的过程确实很消耗资源。
Bert资源图

上面是Bert模型在12G显存的显卡上，每轮的样本数和句子长度。
开始还担心Bert模型部署在客户的机器上能否正常运行。后面测试发现，如果没有太高的并发，其实在预测阶段对显存的消耗并不高，大概1-2G显存即可。

#2，模型速度
使用Bert模型一定要跑在GPU上，不论是训练还是预测阶段。我测试的跑在GPU上的速度是CPU的60多倍。

#3，学习速率
目前使用Bert做过分类，seq2seq，序列标注，发现很多任务上，Bert的学习速率不宜调的过高，否则训练的效果很差。而且在官方代码中学习速率是5e-5。而且这里的训练方式建议使用官方提供的优化器，官方提供的优化器学习速率是动态调整的。详细代码可见GIT里面的demo3

#4，Bert模型不参与训练
在使用Bert的时候，建议Bert先参与训练，然后固定住Bert的参数，在训练N轮。在我的项目中，这样的操作最后的效果比较好。
Bert不参与训练需要调整两个地方，一个是在创建模型的时候is_train=False,还有一个是Bert的参数不参与反向传播。
详细代码可见GIT里面的demo3

胡文祥
关注
专栏目录
bert下游_GitHub - cedar33/bert_offline: 小内存、显存（低于4g）使用bert做下游任务的一个方案...
weixin_42353996的博客
01-14 402
BERT offline使用BERT的输出作为词向量，下游任务中不再对词向量进行训练，效果优于一般词向量模型，又显著的减少了显存占用和推理时间，基于此词向量的双向lstm的文本二分类任务在4g显存的笔记本上能以300 examples/s 的速度推，验证集准确率93%左右。bert.npz: BERT的输出，做为下游任务的embedding层vocab.txt: BERT词表text_classi...
当Bert遇上Keras：这可能是Bert最简单的打开姿势
Paper weekly
06-20 8562
作者丨苏剑林研究方向丨NLP，神经网络个人主页丨kexue.fmBert 是什么，估计也不用笔者来诸多介绍了。虽然笔者不是很喜欢Bert，但不得不说，Bert 确实在 N...
我用24小时、8块GPU、400美元在云上完成训练BERT！特拉维夫大学新研究
量子位
04-22 454
丰色 发自 凹非寺量子位 报道 | 公众号 QbitAI大型语言模型BERT，熟悉NLP领域的同学没人不知道它的名气吧？只可惜它太太太贵了！之前有做过统计，使用谷歌云TPU或英伟达GPU训...
大模型算法岗面试题系列（三十六 ）| 微调模型需要多大显存?
Code1994的博客
08-14 1043
L因此，总的显存需求大约为：对于具体的大模型，比如BERT-Large（约3.4亿参数），如果我们使用批量大小为32和序列长度为512，那么显存需求大约为：因此，微调大模型时，通常建议至少准备比上述估算值更大的显存，比如至少8GB或更多，具体取决于上述提到的各个因素。在实际操作中，可能需要通过实验来确定确切的显存需求，并根据实际情况调整批量大小和序列长度以适应显存限制。
BERT推理显存爆满？7个实用技巧教你快速优化！显存优化的最佳实践指南
最新发布
大多_C的博客
09-20 661
即使是在推理阶段，也可以将输入数据分成较小的批次（batch），这样每次推理只处理较少的数据，从而减少显存占用。具体来说可以减小 batch size，逐步降低直到显存能够容纳。BERT 的显存占用与输入序列的长度直接相关。可以尝试裁剪输入文本，使得序列长度减少。特别是对很长的文本，可以设置合理的最大长度（如128或256），从而减少计算需求。虽然主要用于训练，但在推理时可以通过减少内存开销来节省显存。可以通过调整模型以支持这种技术，减少中间计算结果的缓存。
使用Hugging Face预训练Bert处理下游任务显存占用过多
hhyer的博客
07-14 973
具体的方法进入https://huggingface.co/huawei-noah/TinyBERT_General_4L_312D/tree/main链接中，download其中的model参数，以及词典表、config。在使用HuggingFace的transformer下的BertForMaskedLM进行预训练语言模型的load时，bert会占用很大的显存。这里可以考虑使用TinyBERT，速度和显存上都能得到很大的优化。在load模型时load这些文件就可以了。
NLP大模型微调答疑
狮子座明仔知识集散场
05-17 9527
我理解ChatGLM-6B模型是走完 “预训练-SFT-RLHF” 过程训练后的模型，其SFT阶段已经有上千指令微调任务训练过，现在我们只是新增了一类指令数据，相对大模型而已，微调数据量少和微调任务类型单一，不会对其原有的能力造成大的影响，所以我认为是不会导致灾难性遗忘问题，我自己微调模型也没出现此问题。ChatGLM-6B, LLaMA-7B模型分别是60亿参数量和70亿参数量的大模型，基本可以处理所有NLP任务，效果好，但大模型部署成本高，需要大显存的GPU，并且预测速度慢，V100都需要1秒一条。
NLP之旅：探索、实践与心得分享.zip
03-20
在这个"NLP之旅：探索、实践与心得分享"的资料包中，作者显然深入探讨了这个主题，并分享了自己的学习过程和实践经验。 首先，我们从标题"探索"一词中可以推断，该资料将涵盖NLP的基础理论，可能包括语义分析、句法...
中文NER任务实验小结：BERT-MRC的再优化
Paper weekly
12-29 1875
©作者 | 邱震宇单位 | 华泰证券算法工程师研究方向 | NLP方向前言熟悉我的读者，应该看过我之前写过的一篇关于中文 NER 任务实践的文章（邱震宇：中文 NER 任务实验小结报告——...
Huggingface BERT源码详解：应用模型与训练优化
Paper weekly
07-13 1888
©PaperWeekly 原创 ·作者｜李泺秋学校｜浙江大学硕士生研究方向｜自然语言处理、知识图谱接上篇，记录一下对 HuggingFace 开源的 Transformers 项目代码的...
当BERT-whitening引入超参数：总有一款适合你
Paper weekly
05-22 535
©PaperWeekly 原创 ·作者 | 苏剑林单位 | 追一科技研究方向 | NLP、神经网络在《你可能不需要 BERT-flow：一个线性变换媲美 BERT-flow》中，笔者提出了 BERT-whitening，验证了一个线性变换就能媲美当时的 SOTA 方法 BERT-flow。此外，BERT-whitening 还可以对句向量进行降维，带来更低的内存占用和更...
深度神经网络模型训练时GPU显存不足怎么办？
热门推荐
一个努力吃胖的小瘦子的博客
04-03 1万+
前言 最近跑的模型都比较大，尤其是Bert， 这真的是难为我 1080ti 了， 在Bert的Example中，官方提供了一些 Trick 来帮助我们加速训练，很良心， 但感觉还不够，于是花费一些时间整理出一个 Trick 集合，来帮助我们在显存不足的时候来嘿嘿嘿。 本文分为两大部分，第一部分引入一个主题：如何估计模型所需显存， 第二个主题：GPU显存不足时的各种 Trick 。 监控 GPU 监...
BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码）
hecongqing的博客
04-21 1908
一只小狐狸带你解锁 炼丹术&NLP秘籍作者：夕小瑶、rumor酱前言虽然TPU的显存令人羡慕，但是由于众所周知的原因，绝大部分人还是很难日常化使用的。英伟达又一直在挤牙膏，至今...
Pytorch实现Bert/RoBerta微调（以MELD数据集为例）
csdndogo的博客
07-17 6815
本文记录我在学习BERT/ROBERTAfine-tuning过程的遇到的问题，包括内存受限，微调概念，微调方法等。文章方法不适用于逐层微调，且只以NLP文本分类举例，微调代码参考。
一本读懂BERT
Nuspen的博客
10-09 965
目录 一、什么是BERT？ 二、BERT安装 三、预训练模型 四、运行Fine-Tuning 五、数据读取源码阅读 （一） DataProcessor （二） MrpcProcessor 六、分词源码阅读 （一）FullTokenizer （二） WordpieceTokenizer 七、run_classi...
安装并运行BERT模型
scloude的博客
03-17 698
移动端RTX30系列显卡支持cuda11.0、cudnn9.0以上版本，低版本的cuda是不兼容的，使用google版本的tensorflow需要tf2.4及以上，而bert模型是基于tensorflow1.x的，所以安装tensorflow1.x-cpu版本，tensorflow-gpu版本运行bert会报错。具体安装步骤可以根据以下过程进行： https://blog.csdn.net/qq_42458992/article/details/120684554
如何估算transformer模型的显存大小
小白学视觉
04-19 459
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达编者荐语Transformer 有着巨大的内存和算力需求，因为它构造了一个注意力矩阵，需求与输入呈平方关系。文章为你介绍神经网络的内存计算方法。在微调GPT/BERT模型时，会经常遇到“ cuda out of memory”的情况。这是因为transformer是内存密集型的模型，并且内存要求也随序列长度而增加。所以如果能对...
pytorch使用bert
04-04
PyTorch使用BERT（Bidirectional Encoder Representations from Transformers）是一种自然语言处理（NLP）模型，它基于Transformer架构，并且在预训练阶段使用了大量的无标签文本数据。下面是使用PyTorch实现BERT的一般步骤： 1. 安装PyTorch和Transformers库：首先，你需要安装PyTorch和Transformers库。可以通过pip命令来安装它们： ``` pip install torch pip install transformers ``` 2. 加载预训练的BERT模型：使用Transformers库中的`BertModel`类来加载预训练的BERT模型。你可以选择不同的预训练模型，如BERT-base或BERT-large。加载模型的代码如下： ```python from transformers import BertModel model = BertModel.from_pretrained('bert-base-uncased') ``` 3. 准备输入数据：BERT模型接受输入数据的格式是tokenized的文本序列。你需要将文本转换为对应的token，并添加特殊的标记，如[CLS]和[SEP]。可以使用Transformers库中的`BertTokenizer`类来完成这个任务： ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') text = "Hello, how are you?" tokens = tokenizer.tokenize(text) input_ids = tokenizer.convert_tokens_to_ids(tokens) ``` 4. 输入数据编码：将输入数据编码为模型可以接受的形式。BERT模型需要输入的是token的索引序列，以及每个token的attention mask和segment mask。可以使用Transformers库中的`BertTokenizer`类的`encode_plus`方法来完成编码： ```python encoding = tokenizer.encode_plus( text, add_special_tokens=True, max_length=512, padding='max_length', truncation=True, return_attention_mask=True, return_token_type_ids=True, return_tensors='pt' ) input_ids = encoding['input_ids'] attention_mask = encoding['attention_mask'] token_type_ids = encoding['token_type_ids'] ``` 5. 使用BERT模型进行预测：将编码后的输入数据传递给BERT模型，即可进行预测。可以使用PyTorch的`torch.no_grad()`上下文管理器来关闭梯度计算，以提高推理速度： ```python with torch.no_grad(): outputs = model(input_ids, attention_mask=attention_mask, token_type_ids=token_type_ids) # 获取模型输出 last_hidden_state = outputs.last_hidden_state ``` 以上是使用PyTorch实现BERT的一般步骤。你可以根据具体的任务和需求对模型进行微调或进行其他操作。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值