bert模型参数量params与复杂度flops的计算

最新推荐文章于 2024-06-26 13:16:46 发布
最新推荐文章于 2024-06-26 13:16:46 发布
阅读量1.8k 收藏 3
点赞数
分类专栏： 深度学习开发 文章标签： bert 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Chrsitina_S/article/details/127358544
版权

可视化工具ptflops

from ptflops import get_model_complexity_info
flops,params=get_model_complexity_info(model,(1,15))
print(flops,params)

model：就是构建的模型
（1，15）：模型输入的size，这里的输入必须是一个tensor

flops：能够输出bert网络的结构，包括各层的参数和计算复杂度
params：1.28GMac，99.95M 表示总的计算复杂度为1.28GMac，模型参数量为99.95M，M表示百万量级

  • bert模型参数
    在这里插入图片描述
    base模型的总参数量为110M，经过与base模型的config对比发现，本模型中的vocab_size是小于base中默认的词表大小的，所以在enbedding层的参数会小一些，进而得到的总参数量99.95M<110M。

具体的计算过程，可以查看
bert/transformer模型的参数大小计算
计算量和参数量的计算方法
flops分析和解释

Chrsitina_S
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Bert论文参数量计算
人工智能曾小健
09-18 174
Bert论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。了解到bert其实用的网络结构就是Transformer，因此，又去仔细看了下。对Bert和Transformer有了一个大概的理解。但是其中有个地方却困扰了我很久，就是Bert的Base model参数大小是110M，Large modle 是340M。
小白bert参数计算
persistinlife的专栏
05-29 2410
针对上图分别从每个部分进行计算。 BERT-Base, Uncased 12层，768个隐单元，12个Attention head，110M参数 BERT-Large, Uncased 24层，1024个隐单元，16个head，340M参数 BERT-Base, Cased 12层，768个隐单元，12个Attention head，110M参数 BERT-Large, Uncased 24层，1024个隐单元，16个head，340M参数。 bert base 12层 768隐藏单元 12个head.
自然语言处理模型：bert 结构原理解析——attention+transformer（翻译自：Deconstructing BERT）
guangyacyb的博客
03-09 2233
原文：Deconstructing BERT: Distilling 6 Patterns from 100 Million Parameters 《bert 结构解析：在1亿个参数中提取6种模式》 The year 2018 marked a turning point for the field of Natural Language Processing, with a serie...
yolov3预训练模型_完胜 BERT，谷歌最佳 NLP 预训练模型开源
weixin_39983563的博客
11-22 750
雷锋网 AI 源创评论按：近日，谷歌宣布将 AI 语言模型 ELECTRA 作为 TensorFlow 之上的开源模型发布。该方法用到了一种称为替换令牌检测(RTD)的新预训练任务，使其能够在从所有输入位置学习的同时，训练双向模型。并且，在同等计算资源的情况下，ELECTRA 的性能优于现有方法；而在参数量只有 1/30 的情况下，取得不逊于最先进 BERT 系列模型的性能。谷歌发布了相关文章介绍...
transformer模型的参数量和计算量
最新发布
a_blade_of_grass的博客
06-26 908
大规模语言模型（Large Language Model, LLM）的大体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，参数量为1750亿，训练数据达到了570GB。进而，训练大语言模型面临两个主要挑战：显存效率和计算效率。现在业界的大语言模型都是基于transformer模型的，模型结构主要是encoder-decoder（代表模型是T5）和decoder-only（分为Causal LM——代表模型GPT，Prefix LM——代表模型GLM）。
计算模型的计算复杂度GFLPS
Xingwen_future的博客
10-15 1087
计算模型的计算复杂度GFLPS from thop import profile def GFLOPS(model): inputdata = torch.randn(1, 3, 513, 513) #这里可以修改 if torch.cuda.is_available(): model1 = model.cuda() inputdata = inputdata.cuda() flops, params = profile(model1, inputs
bert模型的参数量和时间复杂度分析
羊城迷鹿的博客
08-02 2123
这里主要比较了bert-base和albert-tiny。前者窄而深，后者宽而浅。需要注意的一点是，albert是对bert瘦了身，但只省了空间，没有省时间。因为虽然不同层共享了参数，但模型还是要经过这么多层算一遍。假设词表大小为V，句子长度为S，词向量维度为H，层数为L，自注意力头数为A，对于ALBert，其嵌入分解维度为E。模型的下游任务为多分类，标签数为K。............
pytorch实用工具总结(GFLOPs如何计算)
junmuzi的专栏
10-17 1万+
Original url: https://zhuanlan.zhihu.com/p/33992733   从网上各种资料加上自己实践的可用工具。 主要包括： 模型层数：print_layers_num 模型参数总量：print_model_parm_nums 模型的计算图：def print_autograd_graph():或者参见tensorboad 模型滤波器可视化：sho...
pytorch实现具备预训练参数加载功能的bert模型
01-03
在pytorch上实现了bert模型，并且实现了预训练参数加载功能，可以加载huggingface上的预训练模型参数。 主要包含以下内容： 1) 实现BertEmbeddings、Transformer、BerPooler等Bert模型所需子模块代码。 2) 在子模块...
基于torch transformers 直接加载bert预训练模型计算句子相似度
02-05
本篇主要介绍如何利用PyTorch库中的Transformers模块直接加载BERT（Bidirectional Encoder Representations from Transformers）预训练模型，来计算两个句子的相似度。 首先，BERT是一种基于Transformer架构的预...
Python-PyTorch神经网络模型分析器参数规模FLOPsMAdd内存消耗
08-09
PyTorch神经网络模型分析器(参数规模/FLOPs/MAdd/内存消耗)
BERT模型实战1
08-03
BERT 模型实战 1 本资源主要介绍了 BERT 模型的基本组成和实现细节，涵盖了自注意机制、多头机制、位置信息表达、LayerNormalize、Decoder 和训练 BERT 等方面。 BERT 基本组成 BERT 模型的基本组成是一个 Seq2...
利用bert预训练模型生成句向量或词向量.zip
01-07
在自然语言处理领域，预训练模型已经成为理解和生成文本的关键工具，BERT（Bidirectional Encoder Representations from Transformers）就是其中的杰出代表。本项目是关于如何利用BERT预训练模型生成句向量和词向量...
bert预训练模型（英文）
10-27
**BERT预训练模型（英文）详解** BERT，全称为Bidirectional Encoder Representations ...这些资源对于开发基于BERT的NLP应用至关重要，可以帮助开发者节省大量的训练时间和计算资源，快速进入模型的优化和应用阶段。
超细节的BERT/Transformer知识点
海晨威
08-09 1194
随着NLP的不断发展，对BERT/Transformer相关知识的研(mian)究(shi)应(ti)用(wen)，也越来越细节，下面尝试用QA的形式深入不浅出BERT/Transformer。 1、Transformer在哪里做了权重共享，为什么可以做权重共享？ 2、Self-Attention 的时间复杂度是怎么计算的？ 3、不考虑多头的原因，self-attention中词向量不乘QKV参数矩阵，会有什么问题？ 4、为什么BERT选择mask掉15%这个比例的词，可以是其他的比例吗？ 5、为什么BE
【论文】参数量Parameters和每秒浮点运算次数FLOPs的单位是多少？答：Params/M，FLOPs/G
孟孟单单的博客
04-03 3671
【代码】【论文】参数量Paramenter和每秒浮点运算次数FLOPs的单位是多少？答：Paramenter/M，FLOPs/B。
计算FLOPs和param
qq_43894221的博客
07-31 821
神经网络中FLOPs和param计算
Bert/Transformer模型的参数大小计算
Lisen’s blog
10-17 4万+
前段时间仔细研究了下Bert论文：《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。发现bert其实用的网络结构就是Transformer，因此，又去仔细看了下《All attention is all you need》。对Bert和Transformer有了一个大概的理解。但是其...
深度学习中模型计算量(FLOPs)和参数量(Params)的理解以及四种计算方法总结
热门推荐
紫芝的博客
07-15 10万+
深度学习中模型参数量和计算量的理解与计算１　首先什么是计算量，什么是参数量２　如何计算：参数量，计算量３　对于换算计算量４　对于各个经典网络：５　计算量与参数量对于硬件要求6 计算量(FLOPs)和参数量(Params)第一步：安装模块第二步：计算参考资料 接下来要分别概述以下内容： １　首先什么是参数量，什么是计算量 ２　如何计算　参数量，如何统计　计算量 ３　换算参数量，把他换算成我们常用的单位，比如:mb ４　对于各个经典网络，论述他们是计算量大还是参数两，有什么好处 ５　计算量，参数量分别对显存，芯
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值