BERT所占内存的计算

最新推荐文章于 2024-03-27 00:55:35 发布
最新推荐文章于 2024-03-27 00:55:35 发布
阅读量3k 收藏
点赞数 1
分类专栏： 深度学习 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lidichengfo0412/article/details/113786575
版权

@苹果树数据科技有限公司-AI部

BERT所占内存的计算

以BERT-base为例，占用110million的参数，数据格式为半精度浮点型（FP16），则占用内存的计算如下：

1B=8字节
FP16表示16字节
则总共内存占用为：110*10^6*16 / 8 = 0.22*10^9
换算成GB：0.22*10^9 / (1024^3) = 0.205GB
to do 1+1
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《自然语言处理实战入门》深度学习 ---- 预训练模型的使用（ALBERT 进行多标签文本分类与CPU 下的微调 fine tune）
shiter编写程序的艺术
02-06 1620
文章大纲环境构建关键点数据预处理模型微调、评估、预测keras 模型结构训练微调模型保存与再次载入模型预测参考文献 环境构建 conda create -n nlp_tf2 python=3.8 -y conda activate nlp_tf2 conda install ipykernel # bert4keras 无法支持高版本 pip install tensorflow==2.2.2 pip install pandas pip install matplotlib pip install sk
strace 分析mysql 内存占用_BERT结构、参数、内存占用分析（未完待续）
weixin_39715538的博客
11-21 183
前言：最近在自己的RL方法里尝试加入BERT，想用base model却总是遇到OOM，观察内存占用量多数时候也就不到2GB，一到模型更新阶段占用率就蹭蹭蹭往上涨，一个不小心涨过头不是OOM就是killed... orz 为了溯源，开始看源码分析内存占用相关因素，分析完还意犹未尽，就有了这么一篇经验帖。这篇文章的主要内容包括：1、BERT模型结构梳理；2、BERT参数统计；3、BERT内存占用分...
模型训练时gpu内存不足的解决办法
热门推荐
lppfwl的博客
11-04 1万+
最近在训练微调bert预训练模型的时候，gpu内存老是不足，跑不了一个epoch就爆掉了，在网上来来回回找了很多资料，这里把一些方法总结一下： 半精度训练 半精度float16比单精度float32占用内存小，计算更快，但是半精度也有不好的地方，它的舍入误差更大，而且在训练的时候有时候会出现nan的情况(我自己训练的时候也遇到过，解决方法可以参考我的另一篇博客)。 模型在gpu上训练，模型和输入数据都要.cuda()一下，转成半精度直接input.half()和model.half() 就行了。 另外，还有
Android 在Service 中开启线程执行任务，Service占用的内存越来越多，怎么回事？
diwu2778的博客
12-30 1838
public class SecondWatchService extends Service { private ExistThread existThread; @Override public IBinder onBind(Intent intent) { // TODO Auto-generated method stub return null; } @Ove
BERT使用心得经验分享
weixin_34418883的博客
06-10 1036
使用Bert有一段时间了，在项目中确实也能带来提升，这里总结下bert的使用心得。 #1，资源的使用 Bert在训练的过程确实很消耗资源。 上面是Bert模型在12G显存的显卡上，每轮的样本数和句子长度。 开始还担心Bert模型部署在客户的机器上能否正常运行。后面测试发现，如果没有太高的并发，其实在预测阶段对显存的消耗并不高，大概1-2G显存即可。 #2，模型速度 使用Bert模型一定要跑在GP...
深入解析大语言模型显存占用：训练与推理
最新发布
十一月廿七风雨大作
03-27 4895
本篇文章将帮助你优雅又快速地拒绝老板。看完本篇《深入解析大语言模型显存占用：训练与推理》，你将对模型占用显存的问题有个透彻的理解。
BERT预训练模型系列总结
dzysunshine的博客
07-28 3387
预训练模型总结
基于torch transformers 直接加载bert预训练模型计算句子相似度
02-05
本篇主要介绍如何利用PyTorch库中的Transformers模块直接加载BERT（Bidirectional Encoder Representations from Transformers）预训练模型，来计算两个句子的相似度。 首先，BERT是一种基于Transformer架构的预...
BertSimilarity：使用Google的BERT算法计算两个句子的相似度。利用Bert计算句子相似度。语义相似度计算
02-03
基于Google的BERT模型来进行语义相似度计算。代码基于tensorflow 1。 1.基本原理 简单来说就是将需要需要计算的相似性的两个句子先分解在一起，然后通过伯特模型获取获取整体的编码信息，然后通过全连接层将维，输出...
BERT模型实战1
08-03
BERT 模型实战 1 本资源主要介绍了 BERT 模型的基本组成和实现细节，涵盖了自注意机制、多头机制、位置信息表达、LayerNormalize、Decoder 和训练 BERT 等方面。 BERT 基本组成 BERT 模型的基本组成是一个 Seq2...
bert分类bert分类bert分类
03-12
5. **损失计算与反向传播**：根据预测结果与真实标签计算损失，使用反向传播更新模型参数。 6. **优化与评估**：选择合适的优化器和学习率调度策略进行训练，并在验证集上评估模型性能，可能需要多次迭代调整超参数...
huggingface的bert-base-uncased
03-03
8. **资源需求**：由于BERT模型的复杂性，其计算和内存需求相对较高，因此在实际应用时需要考虑硬件资源的限制。 9. **模型版本**："base"和"large"是BERT的两个常见版本，base版有12个编码器层，768个隐藏状态维度...
Pytorch 分布式并行训练 + 半精度/混合精度训练
David's Tweet
07-12 9480
该博客基于以下项目的开源代码进行分析： Simple Pose: Rethinking and Improving a Bottom-up Approach for Multi-Person Pose Estimation”, accepted by AAAI-2020. Github代码地址：代码 参考： 知乎《一个 Pytorch 训练实践 （分布式训练 + 半精度/混合精度训练）》 《Pytorch + Apex 训练流程记录》 《pytorch apex 混合精度训练和horovod分.
文本摘要综述-bertsum、BottleSum、TextRANk
古月哲亭
08-18 1800
BottleSum——文本摘要论文系列解读/：https://zhuanlan.zhihu.com/p/84730122 主题关键词信息融合的中文生成式自动摘要研究：http://www.aas.net.cn/fileZDHXB/journal/article/zdhxb/2019/3/PDF/zdhxb-45-3-530.pdf Code for paper Fine-tune BERT for 抽取式文本摘要：https://github.com/nlpyang/BertSum 【ACL2019】文本摘
Hugging Face的BERT模型进行文本嵌入内存爆炸的解决方法
tagagi的博客
03-30 6627
hugging face中很多预训练好的transformer模型，可以直接下载使用，节省大量时间与算力。昨天使用BERT模型进行文本嵌入。其实很简单，核心代码就几行（text是文本，batch_size是500，总共三万条文本，只取每条文本的[CLS]作文本的整体表示）： encoded_input = tokenizer(text[start * 500: min(start * 500 + 500, len(text))], padding=True, truncation=True, r
BERT重计算：用22.5%的训练时间节省5倍的显存开销（附代码）
hecongqing的博客
04-21 1851
一只小狐狸带你解锁 炼丹术&NLP秘籍作者：夕小瑶、rumor酱前言虽然TPU的显存令人羡慕，但是由于众所周知的原因，绝大部分人还是很难日常化使用的。英伟达又一直在挤牙膏，至今...
BERT原理详解
u012526436的博客
02-18 1万+
转载请注明出处，原文地址 简介 之前的文章从attention讲解到了transformer，本文将会针对目前大热的BERT进行讲解，bert的内部结构主要是transformer，如果您对transformer并不了解，请参阅我之前的博文。 从创新的角度来看，bert其实并没有过多的结构方面的创新点，其和GPT一样均是采用的transformer的结构，相对于GPT来说，其是双向结构的，而GPT...
bert参数数量_BERT模型到底有多少参数
weixin_39857174的博客
02-06 1932
在知乎回答问题有一个好处，就是不用太注意设置格式，也能整体表现的不错！赞一个！最近做模型的时候，好奇心驱使，查看了一下BERT模型的参数量一共是多少，这里用的是“chinese-bert-wwm-ext”，和bert-base结构一样。模型的结构和细节代码就不详述了，因为很多人都看过，分析过！第一，如何查看model结构加载完模型后，输入model，或者print(model）就可以查看模型的结构...
import numpy报错
lidichengfo0412的博客
11-05 5767
在import numpy以及import tensorflow中报错如下 ** On entry to DGEBAL parameter number 3 had an illegal value ** On entry to DGEHRD parameter number 2 had an illegal value ** On entry to DORGHR DORGQR parameter number 2 had an illegal value ** On entry to DH
bert模型损失的计算
05-24
BERT模型的损失计算可以分为两个阶段： 第一阶段是Masked Language Model (MLM)。对于输入序列中的每个token，有50%的概率被替换为特殊的[MASK]符号，然后模型需要预测被替换的token是什么。MLM的损失计算使用交叉熵损失函数，对于每个被替换的token，计算其预测结果与实际标签之间的交叉熵。 第二阶段是Next Sentence Prediction (NSP)。在这个任务中，模型需要判断两个输入句子是否是相邻的。具体地，输入序列被拆分成两个句子A和B，然后模型需要预测B是否是A的下一句话。NSP的损失计算使用二元交叉熵损失函数，对于每个输入样本，计算其预测结果与实际标签（相邻或非相邻）之间的二元交叉熵。 最终的损失函数是两个损失函数的加权和，其中权重由超参数控制。BERT模型使用反向传播算法计算梯度并更新模型参数，使得损失函数最小化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值