[论文笔记] 大模型参数量计算之Qwen1.5-1.8B示例

最新推荐文章于 2024-08-10 10:45:33 发布
最新推荐文章于 2024-08-10 10:45:33 发布
阅读量185 收藏
点赞数
分类专栏： 论文笔记 文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Trance95/article/details/140856547
版权

Qwen1.5-1.8B

计算参数量=1.8B

1、Embeddings 参数计算:

  • vocab_size: 151936
  • hidden_size: 2048
  • 参数量 = vocab_size × hidden_size (embedding matrix） = 151936 × 2048 = 311164928
  • embedding matrix：

embedding层的逻辑

  • 输入词汇索引：模型接收到一个输入序列，例如一句话，每个词被映射
了解本专栏 订阅专栏 解锁全文 超级会员免费看
心心喵
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
[论文笔记] Qwen1.5 1.8B、4B、7B、14B、72B tp和pp
心宝的博客
05-06 234
TP=4，PP=1TP=4，PP=1TP=8，PP=4。
想要更好地理解大模型架构？从计算参数量快速入手
Baihai_IDP的博客
06-12 1582
要理解一种新的机器学习架构（以及其他任何新技术），最有效的方法就是从头开始实现它。然而，还有一种更简单的方法——计算参数数量。 通过计算参数数量，读者可以更好地理解模型架构，并检查其解决方案中是否存在未被发现的错误。 该文章提供了精确的Transformers模型的参数量计算公式和不太准确的简略公式版本，使读者能够快速估算基于Transformer的任何模型中参数的数量。 以下是译文，Enjoy!
大模型的参数计算
True Truth
03-21 934
当然,一个模型计算,除了模型参数外还有一些计算参数, 但是大概显存在22.35G左右.当然训练速度能耗也是大家需要考虑的, 所以可以考虑RoLA 等低参数训练方式.我们说的大模型参数量都是6B,130B等等, 一般模型运行需要多少显存呢.我其实在想,为啥要发明一个B出来, 我们用G来描述不香吗.显存. 如果是24G显存的显卡, 需要4张才能够展开训练.训练过程要保存梯度等计算过程, 所以需要 上面的。有什么不对的地方, 欢迎指出, 一起学习!,也就是说, 上面全精度6B需要。比如6B全精度, 那就是。
大模型/NLP/算法4——bert参数量计算
AndrewPerfect的博客
07-09 750
BERT的总参数量可以大致通过加总上述各个组件的参数量来估算。但请注意，具体的参数量还会受到模型配置（如隐藏层大小。
模型的计算量与参数量计算
HarryXu的博客
03-31 583
最近在魔改网络，发现对于模型的计算量和参数量要有一定的概念才行 我直接使用的是thop包 pip install thop from thop import profile import torch.nn import torchvision from efficientnet_pytorch import EfficientNet resnet_18 = torchvision.models.resnet18() resnet_34 = torchvision.models.resnet34() .
模型大小 与参数量计算
Leo_whj的博客
11-12 2万+
1.model size 就是模型的大小，我们一般使用参数量parameter来衡量，注意，它的单位是个。但是由于很多模型参数量太大，所以一般取一个更方便的单位：兆(M)来衡量。比如ResNet-152的参数量可以达到60 million = 0.0006M。有些时候，model size在实际计算时除了包含参数量以外，还包括网络架构信息和优化器信息等。比如存储一个一般的CNN模型(ImageNet训练)需要大于300MB。 M和MB的换算关系： 比如说我有一个模型参数量是1M，在一般的深度学习框架.
大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例
weixin_42878111的博客
05-23 1228
大家好，我是微学AI，今天给大家介绍一下大模型的实践应用24-LLaMA-Factory微调通义千问qwen1.5-1.8B模型的实例, LLaMA-Factory是一个专门用于大语言模型微调的框架，它支持多种微调方法，如LoRA、QLoRA等，并提供了丰富的数据集和预训练模型，便于用户进行模型微调。通义千问Qwen1.5是阿里巴巴推出的一款大型语言模型，具有多语言处理能力和较强的生成能力。
开源模型应用落地-Qwen1.5-MoE-1/3的激活参数量达到7B模型的性能
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-20 6382
使用Qwen1.5-MoE-A2.7B，体验更快的推理速度
开源模型应用落地-qwen1.5-7b-chat-LoRA微调-Firefly（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
04-02 1万+
使用开源的Firefly大模型训练项目微调qwen1.5-7b-chat模型
开源模型应用落地-模型量化-Qwen1.5-7B-Chat-GPTQ-Int8（一）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
05-17 1万+
理解GPTQ模型量化技术，以低成本体验大语言模型的魅力
详解-大模型推理（Llama3）相关参数和显存计算！
最新发布
2401_85375186的博客
08-10 1512
LLM 推理任务需要大量的算力，将现代 GPU 推向极限。过去两年， LLM 训练和推理优化相关的研究进展速度惊人，每六个月就会出现新的突破。今天的分享主要，为大家介绍LLM 推理领域所必备的一些基本数学与概念，这包含了Llama3的以及，对于张量、矩阵等基本数学原理本文不会赘述。我们先来看看标准的架构。左图来自于大模型技术的起源之作《Attention is all you need》，这是一个标准的transformer结构，由左侧的和右侧的两部分构成。
[论文笔记] pai-megatron qwen1.5报错
心宝的博客
03-13 113
transformers升级到4.37.0。
深度学习中模型计算量(FLOPs)和参数量(Params)的理解以及四种计算方法总结
热门推荐
紫芝的博客
07-15 10万+
深度学习中模型参数量和计算量的理解与计算１　首先什么是计算量，什么是参数量２　如何计算：参数量，计算量３　对于换算计算量４　对于各个经典网络：５　计算量与参数量对于硬件要求6 计算量(FLOPs)和参数量(Params)第一步：安装模块第二步：计算参考资料 接下来要分别概述以下内容： １　首先什么是参数量，什么是计算量 ２　如何计算　参数量，如何统计　计算量 ３　换算参数量，把他换算成我们常用的单位，比如:mb ４　对于各个经典网络，论述他们是计算量大还是参数两，有什么好处 ５　计算量，参数量分别对显存，芯
[论文笔记] Pai-megatron Qwen1.5-14B-CT 后预训练 踩坑记录
心宝的博客
04-12 402
lm loss: 1.515231E+01，初始loss为15，之前遇到过这种问题，检查了模型load进来了，是因为那个rope没设置对导致的，模型权重没问题。最终归因到 run_pretrain_mcore_qwen.sh 中关于位置编码的参数有问题。改完之后能跑，但是loss太高。
语言大模型qwen1.5全流程解析：微调，量化与推理
weixin_42479327的博客
06-07 2472
qwen1.5用法与qwen差异很大，代码合入了transformers库中，使用风格变得统一，这种标准化是以后大模型发展的一个趋势吧，就像tokenizer.apply_chat_template统一prompt一样。仅过去一年时间，这个领域的许多技术已经趋向成熟，发展速度真是太快啦，对于我们来说变方便了，同时门槛也变低，可以让更多人进入大模型领域。但从另一个角度看，当大模型研发，部署都能通过已有技术简单高效完成，那算法人员存在的意义又是什么呢，技术搬运工 or 高级调参侠？
百面大模型：Transformer参数量计算
人工智能曾小健
09-24 601
词向量参数（包括layernorm） + 12 * （Multi-Heads参数 + 全连接层参数 + layernorm参数）= （30522+512 + 2）* 768 + 768 * 2 + 12 * （768 * 768 / 12 * 3 * 12 + 768 * 768 + 768 * 3072 * 2 + 768 * 2 * 2） = 108808704.0 ≈ 110M。因为在输入单头head时，对QKV的向量均进行了不同的线性变换，引入了三个参数，W1，W2，W3。
大模型的参数量会占用多少内存的计算方法
ningyanggege的博客
07-14 2841
28,000,000,000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 26.1 GB。52000000000 字节 ÷ 1024 ÷ 1024 ÷ 1024 ≈ 48.3 GB。7,000,000,000 x 4 = 28,000,000,000 字节。13000000000 x 4 = 52000000000 字节。通过实验证明上述方法计算是正确的。
qwen2-72b本地部署
08-08
qwen2-72b是一个预训练语言模型，通常用于自然语言处理任务，比如聊天、问答等。如果你想要将其本地部署，首先需要获取该模型的源代码或者已经打包好的二进制文件。以下是大致步骤： 1. **下载模型**：从官方GitHub仓库或其他提供者的资源获取qwen2-72b的权重文件。这通常包括模型参数（如`.bin`或`.pt`文件）和必要的配置文件。 2. **环境配置**：确保你的系统安装了支持模型运行的库，例如PyTorch或TensorFlow。如果是基于Python的模型，可能还需要其他依赖项。 3. **模型加载**：将下载的权重加载到相应的框架中，构建模型实例。 4. **搭建服务**：你可以选择在本地搭建HTTP服务器，或者创建一个简单的命令行接口（CLI），通过这些接口调用模型进行预测。 5. **输入处理**：设计解析用户输入和生成回复的逻辑，这可能涉及到文本清洗、编码转换等步骤。 6. **性能优化**：根据需求对模型进行适当调整，比如使用GPU加速或者调整推理速度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

心心喵

喵喵(*^▽^*）

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值