模型大小 与参数量计算

最新推荐文章于 2025-04-05 23:22:14 发布
最新推荐文章于 2025-04-05 23:22:14 发布
阅读量3.2w 收藏 54
点赞数 10
分类专栏： 深度学习
原文链接：https://mp.weixin.qq.com/s/ke9XjEJVjoZjsucAzrS2vA
版权

1.model size

就是模型的大小，我们一般使用参数量parameter来衡量，注意，它的单位是个。但是由于很多模型参数量太大，所以一般取一个更方便的单位：兆(M) 来衡量。比如ResNet-152的参数量可以达到60 million = 0.0006M。有些时候，model size在实际计算时除了包含参数量以外，还包括网络架构信息和优化器信息等。比如存储一个一般的CNN模型(ImageNet训练)需要大于300MB。

M和MB的换算关系：

比如说我有一个模型参数量是1M，在一般的深度学习框架中(比如说PyTorch)，一般是32位存储。32位存储的意思就是1个参数用32个bit来存储。那么这个拥有1M参数量的模型所需要的存储空间的大小即为：1M * 32 bit = 32Mb = 4MB。因为1 Byte = 8 bit。现在的quantization技术就是减少参数量所占的位数：比如我用8位存储，那么：所需要的存储空间的大小即为：1M * 8 bit = 8Mb = 1MB。

2.参数量计算方法

卷积层参数计算方法：

 

大模型的参数计算
True Truth
03-21 1550
当然,一个模型计算,除了模型参数外还有一些计算参数, 但是大概显存在22.35G左右.当然训练速度能耗也是大家需要考虑的, 所以可以考虑RoLA 等低参数训练方式.我们说的大模型参数量都是6B,130B等等, 一般模型运行需要多少显存呢.我其实在想,为啥要发明一个B出来, 我们用G来描述不香吗.显存. 如果是24G显存的显卡, 需要4张才能够展开训练.训练过程要保存梯度等计算过程, 所以需要 上面的。有什么不对的地方, 欢迎指出, 一起学习!,也就是说, 上面全精度6B需要。比如6B全精度, 那就是。
transformer模型的参数量和计算量
a_blade_of_grass的博客
06-26 3024
大规模语言模型（Large Language Model, LLM）的大体现在两个方面：模型参数规模大，训练数据规模大。以GPT3为例，参数量为1750亿，训练数据达到了570GB。进而，训练大语言模型面临两个主要挑战：显存效率和计算效率。现在业界的大语言模型都是基于transformer模型的，模型结构主要是encoder-decoder（代表模型是T5）和decoder-only（分为Causal LM——代表模型GPT，Prefix LM——代表模型GLM）。
大模型参数量和占的显存怎么换算？
qq_44815135的博客
07-24 4969
文章目录 1B"的全称是"1 Billion"，表示十亿；而"1M"的全称是"1 Million"，表示一百万。 B和G都是十亿（1000M或1024M）的意思，M是100万的意思。 模型参数有xB就是说有x十亿个参数。 显存有多少G/M是说有多少G/M个字节（byte），1个字节=8比特（bit）。 1字节（Byte）通常由8个比特组成，FP32使用4字节（32位）表示一个浮点数，而FP16使用2字节（16位）表示一个浮点数 1B模型参数对应多少G内存和参数的精度有关，如果是全精度训练（fp32），一
【大模型深度学习】如何估算大模型需要的显存
最新发布
weixin_42264784的博客
04-05 1276
参数量的单位参数量指的是模型中所有权重和偏置的数量总和。在大模型中，参数量的单位通常以“百万”（M）或“亿”（B，也常说十亿）来表示。百万（M）：表示一百万个参数。例如，如果一个模型有110M个参数，那么它实际上有110,000,000（即1.1亿）个参数。亿（B）：表示十亿个参数。例如，GPT-3模型有175B个参数，即175,000,000,000（即1750亿）个参数。
大模型从零开始——模型参数量计算
木亦汐丫
12-31 3305
本篇我们将介绍如何计算基于Transformer架构的大语言模型的参数数量。由于当前主流的大模型普遍采用因果解码器（CausalDecoder）架构，因此下面以LLaMA2模型为范例，深入剖析其参数数量计算方式。对于其他模型，其参数量计算算法可参照此方法计算。
深度学习模型参数量/计算量和推理速度计算
小白学视觉
08-21 2103
点击上方“小白学视觉”，选择加"星标"或“置顶” 重磅干货，第一时间送达作者丨龟壳@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/376925457编辑丨极市平台极市导读本文总结了一些关于模型参数量计算以及推理速度计算的方法，附有相关代码。1.FLOPs和Params计算1.1概念理解FLOPS： 注意全大写，是floating point operation...
模型参数与计算量
hey-yahei
06-20 1万+
模型参数与计算量 原文链接：https://hey-yahei.cn/2019/01/07/MXNet-OpSummary/ 这一两个月比较忙，没什么时间空下来写写博文，加上最近处于摸索阶段，各种思路还没有理清，不敢瞎写。 这两天看到Lyken17的pytorch-OpCounter，萌生了一个写一个MXNet的计数器的想法，项目已经开源到github上，并且做个pip的包，嘻嘻……第一次做包，虽...
模型的参数量、计算量、延时等的关系
bblingbbling的博客
03-13 1375
1.相同 FLOPs 的两个模型，它们的延时可能会差很多。例如某个模型需要256000个浮点参数定义，转化为bit 乘以32得8192000bit，再除8转化为Byte，1024KB，也就是1M，那么这个模型大小约为1M。2.计算量：FLOPs，Floating Point Operations，浮点运算次数，用来衡量模型计算复杂度。4.对于并行度而言，在相同的 FLOPs 下，具有高并行度的模型可能比另一个具有低并行度的模型快得多。2.在相同的 FLOPs 下，MAC 大的模型将具有更大的延时。
【有啥问啥】13B参数量的大模型是个啥？参数量与模型大小是什么关系？
Chauvin的博客
08-07 3407
在深度学习的领域，特别是涉及大规模神经网络模型的时候，经常会听到诸如“这个模型有上百亿个参数”的说法。那么，参数量的单位“B”究竟是什么意思？参数量和模型大小之间有什么关系呢？此外，还有哪些其他描述模型的参数？这些参数之间的关系又是如何的呢？本文将详细探讨这些问题，并通过实际案例进行说明。
神经网络的计算量(FLOPs)、参数量(Params)、推理时间（FPS）的定义及实现方法
热门推荐
qq_43307074的博客
11-04 5万+
神经网络的计算量(FLOPs)和参数量(Params)的定义及实现方法
大模型训练参数量计算
weixin_44733966的博客
12-23 1380
在现有的大模型训练方案中，通常会采用混合精度训练，模型参数和模型梯度通常以 16 位浮点数存储，而 Adam 或 AdamW优化器则需要额外存储 32 位浮点数的模型参数、动量参数以及动量二阶矩参数。大语言模型的参数量取决于多个关键因素，包括词表大小（𝑉）、解码器层数（𝐿）、中间状态维度（𝐻）、以及前馈网络层的中间维度（𝐻′）。假设模型的参数量为 𝑃，训练中配备有 𝐺 张 GPU，训练的数据并行数为 𝑁𝐷，流水线并行数为 𝑁𝑃，张量并行数为 𝑁𝑇。归一化层：每层2𝐻参数，外加最后一层的𝐻参数。
大模型-模型预训练-模型参数量计算
sgliquangang的专栏
09-27 371
解码器的每一层都包含一个多头自注意力层，查询、键、值三个组成变换矩阵，1个包含H²个参数，共3H²个参数，同事还需要1个额外的线性变换来将多头自注意力机制的输出拼接成最终的输出，有需要H²个参数，总共需要4LH²个参数。由三个线性变换组成，中间有一个非线性激活函数，前两个线性变换将输入从H维映射到H´维度，需要2HH´个参数，最后一个线性变换将输出从H´维映射回H维，需要HH´个参数，总共需要3HH´个参数。词表大小为V，每个单次映射到一个H维的向量，且输入嵌入层只有一层，因此有VH个参数。
大模型参数量及其单位的概念
Wuqing857的博客
07-21 3175
RoBERTa-Base模型的参数量比BERT-Base模型的参数量稍多一些，这是因为RoBERTa引入了一些额外的层和参数，比如用于动态调整模型输入的句子顺序的“动态遮蔽”（dynamic masking）策略。- 999个特殊的token，如 `[UNK]`（未知词）、`[PAD]`（填充）、`[CLS]`（分类任务的句子开始标志）、`[SEP]`（序列分隔符）、`[MASK]`（掩码，用于遮蔽语言模型任务）：表示十亿（Billion）。同样地，在模型参数量的上下文中，"B"指的是十亿个参数。
深度学习-参数量&模型大小&理论计算量
weixin_40826634的博客
12-03 7777
参数量&模型大小&理论计算量
AI大模型训练相关参数如何估算？有这一篇就够了
python1234567_的博客
10-31 4012
随着大模型时代的到来，模型参数量、训练数据量、计算量等各方面急剧增长。参数规模方面，在过去的几年里，语言模型的参数规模从数亿增长到数千亿，甚至达到万亿级别。例如OpenAI的GPT-3拥有175B参数，而GPT MoE参数规模到达了1.8T；数据量方面，训练一个大模型通常需要达到T级别tokens；另外，由于参数规模和数据量庞大，随之带来的是巨大的计算量。
模型的显存和参数量计算
weixin_49305813的博客
07-28 8900
写在前面：以此记录关于模型显存和参数量的一些理解和计算。 显存 参数的显存占用：只有有参数的层，才会有显存占用。这部分的显存占用和输入无关，模型加载完成之后就会占用。 有参数的层主要包括：卷积、全连接、BatchNorm、Embedding等等 无参数的层主要包括：多数的激活层(Sigmoid/ReLU)、池化层、Dropout等等 具体来说，模型参数数目(不考虑偏置b)： Linear(M->N)：M×N Conv2d(Cin，Cout，K)：Cin×Cout×k×k BatchNorm(N)：2
如何用Pytorch计算模型参数量Params和计算量Flops查看框架结构等
如何心安理得的在老板眼皮下摸鱼
05-13 4万+
计算模型参数量 1.parameters法 通过遍历模型的parameters获取结构以及参数： model = 你自己的模型，eg:CNN() ResNet() SegNet().... params = list(model.parameters()) k = 0 for i in params: l = 1 print("该层的结构：" + str(list(i.size()))) for j in i.siz
计算模型的参数量 计算量
01-01
### 计算深度学习模型的参数量 对于深度学习模型而言，参数量是指模型中可训练权重的数量。这些权重通常存在于线性变换（全连接层）、卷积核以及偏置项之中。 #### 卷积层参数量计算 假设有一个卷积层，其输入通道数为\(C_{in}\)，输出通道数为\(C_{out}\)，卷积核大小为\(K \times K\)。那么该卷积层的参数量可以表示为： \[ C_{in} * C_{out} * K^2 + C_{out} \] 其中额外加上\(C_{out}\)是因为每个输出通道都有一个对应的偏置项[^1]。 #### 全连接层参数量计算 如果存在一个全连接层，前一层有\(N\)个神经元，当前层有\(M\)个神经元，则这个全连接层的参数量为: \[ N*M + M \] 这里同样包含了\(M\)个偏置项。 ### 计算深度学习模型的计算复杂度 计算复杂度主要体现在浮点运算次数(FLOPs, Floating Point Operations Per Second)上，在实际应用中常用的是乘积累加操作(MACs, Multiply-Accumulate operations)[^2]。 #### 卷积层计算复杂度 继续以上述卷积层为例，当处理一张尺寸为\(H*W\)的特征图时，整个卷积过程中的MACs数目大约等于： \[ H*W*C_{out}*C_{in}*K^2 \] 这是因为每次滑动窗口都会执行一次局部区域内的矩阵相乘累加操作。 #### 使用工具辅助计算 为了简化上述手动计算的过程，可以通过一些自动化工具来统计模型内部各部分的具体开销情况。例如PyTorch框架下就有专门设计用来做这件事的小程序或库函数，可以直接调用并获得详细的报告信息。 ```python from thop import profile import torch.nn as nn import torchvision.models as models model = models.resnet18() input_tensor = torch.randn(1, 3, 224, 224) macs, params = profile(model, inputs=(input_tensor,)) print(f"FLOPs: {macs}, Parameters: {params}") ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值