Large Language Model (LLM) model size, parameter size and parameter count

于 2025-01-04 00:12:06 发布
阅读量1.1k 收藏 28
点赞数 33
分类专栏： Large Language Model (LLM) 文章标签： Large Language Model LLM model size parameter size parameter count
世上没有白读的书，每一页都算数。
本文链接：https://blog.csdn.net/chengyq116/article/details/142284407
版权

Large Language Model {LLM} model size, parameter size and parameter count

The model size is the number of parameters in the Large Language Model (LLM).

An LLM has 70B parameters, it means that the model has 70 billion adjustable parameters.

1. Model Size and Memory Usage

The total memory usage of the model:
memory usage (in bytes) = number of parameters × \times × size of each parameter

Number of parameters1 B
32-bit precision1 × \times × 1,000,000,000 × \times × 4 byte = 4,000,000,000 / 1024 / 1024 / 1024 = 3.7253 GByte
16-bit precision1 × \times × 1,000,000,000 × \times × 2 byte = 2,000,000,000 / 1024 / 1024 / 1024 = 1.862645 GByte
8-bit precision1 × \times × 1,000,000,000 × \times × 1 byte = 1,000,000,000 / 1024 / 1024 / 1024 = 0.93132 GByte
Number of parameters3 B
32-bit precision3 × \times × 1,000,000,000 × \times × 4 byte = 12,000,000,000 / 1024 / 1024 / 1024 = 11.17587 GByte
16-bit precision3 × \times × 1,000,000,000 × \times × 2 byte = 6,000,000,000 / 1024 / 1024 / 1024 = 5.58794 GByte
8-bit precision3 × \times × 1,000,000,000 × \times × 1 byte = 3,000,000,000 / 1024 / 1024 / 1024 = 2.7939677 GByte
Number of parameters7 B
32-bit precision7 × \times × 1,000,000,000 × \times × 4 byte = 28,000,000,000 / 1024 / 1024 / 1024 = 26.077 GByte
16-bit precision7 × \times × 1,000,000,000 × \times × 2 byte = 14,000,000,000 / 1024 / 1024 / 1024 = 13.038516 GByte
8-bit precision7 × \times × 1,000,000,000 × \times × 1 byte = 7,000,000,000 / 1024 / 1024 / 1024 = 6.519258 GByte

…

thousand [ˈθaʊznd]

  1. the number 1,000 (千)
  2. a large number

million ['mɪljən]

  1. the number 1,000,000 (百万)
  2. a large number

billion ['bɪljən]

  1. the number 1,000,000,000 (十亿)
  2. a very large number

trillion ['trɪljən]

  1. the number 1,000,000,000,000 (万亿)

2. Hugging Face

2.1. GPT-Neo 2.7B

https://huggingface.co/EleutherAI/gpt-neo-2.7B/blob/main/README.md
https://huggingface.co/EleutherAI/gpt-neo-1.3B/blob/main/README.md

GPT-Neo refers to the class of models, while 2.7B represents the number of parameters of this particular pre-trained model.

GPT-Neo refers to the class of models, while 1.3B represents the number of parameters of this particular pre-trained model.

2.2. Massive Text Embedding Benchmark (MTEB) Leaderboard

https://huggingface.co/spaces/mteb/leaderboard

Massive Text Embedding Benchmark
https://huggingface.co/mteb

Model Size (million parameters, in number of parameters)
Memory Usage (GB, fp32)

在这里插入图片描述

2.3. Open LLM Leaderboard

https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard

the number of parameters (B)
#Params (B)

在这里插入图片描述

2.4. LLM-Perf Leaderboard

https://huggingface.co/spaces/optimum/llm-perf-leaderboard

Memory (MB)
Params (B)

在这里插入图片描述

2.5. Open Ko-LLM Leaderboard

https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard

#Params (B)

在这里插入图片描述

References

[1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/
[2] The Big Benchmarks Collection, https://huggingface.co/collections/open-llm-leaderboard/the-big-benchmarks-collection-64faca6335a7fc7d4ffe974a

LLMs之Falcon：《The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 1290
​ LLMs之Falcon：《The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only》翻译与解读 目录 《The RefinedWeb Dataset for Falcon LLM:Outperforming Curated Corpora with Web Data, and Web Data Only》翻译与解读 Abstract摘要
使用 Bonito v1 生成用于大型语言模型微调的数据集，如何从任何文档生成用于 LLM 微调高质量的综合数据集
iCloudEnd的博客
04-26 1059
论文Bonito 是布朗大学计算机科学系开发的一个开源模型，用于条件任务生成，即将未注释的文本转换为特定于任务的训练数据集以进行指令调整的过程。Bonito 的目标是在用户的专业私有数据上实现大型语言模型的零样本任务适应。Bonito 可以为来自不同任务类型的专业领域的各种数据集生成综合任务，例如是非问答、提取式问答和自然语言推理。通过使用 Bonito 生成合成任务并根据这些任务调整语言模型，与事实上的自我监督基线相比，可以实现显着的性能改进。
Build a Large Language Model (From Scratch)GPT-4o翻译和代码每行中文注释Ch4
Czi.的博客
07-21 2540
4 从零开始实现GPT模型以生成文本In the previous chapter, you learned and coded the multi-head attention mechanism, one of the core components of LLMs. In this chapter, we will now code the other building blocks of an LLM and assemble them into a GPT-like model that we w
LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-31 5189
​ LLMs：《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 目录 《BLOOM: A 176B-Parameter Open-Access Multilingual Language Model》翻译与解读 Abstract 1、Introduction介绍 2、Background背景 3、BLOOM
Finetuning Large Language Models: Sharon Zhou
阿正的梦工坊
03-04 1544
微调大语言模型
Polish Questions to Catch the Inclination of Large Language Model: A Technical Report
ShadyPi的IT笔记
10-16 254
Polish Questions to Catch the Inclination of Large Language Model: A Technical Report。
AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
01-27 4727
​ AI之MLM：《MM-LLMs: Recent Advances in MultiModal Large Language Models多模态大语言模型的最新进展》翻译与解读 目录 《MM-LLMs: Recent Advances in MultiModal Large Language Models》翻译与解读 Abstract摘要 1、Lntroduction引言 2、Model Architecture模型架构，五个组件 3、Tra
LLM时代中的AI推理优化
世事难料，保持低调
06-15 6003
毫无疑问，AI是当下最热的话题之一，而大模型又是当前AI的主角。几年前，正当深度学习进入瓶颈时，以GPT为首的LLM的横空出世让之似乎又找到了“第二增长曲线”。当模型规模大到一定程度时，它所表现出来的涌现能力（Emergent ability）是之前在小模型中所不曾见过的。这种大模型所特有的推理、计算等能力给我们带来了无穷的想象空间。但是，它的代价是模型和以往模型相比增大了成百上千倍。要玩大模型十亿参数基本是个入门级门槛，上百亿才算像点样。各个大公司为了争夺大模型的话语权，更是将大模型越“卷”越大。
LLMs之Gopher/Chinchilla：《Training Compute-Optimal Large Language Models》的翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-18 4918
​ LLMs之Chinchilla：《Training Compute-Optimal Large Language Models》的翻译与解读 目录 《Training Compute-Optimal Large Language Models》的翻译与解读 Abstract摘要 1、Introduction引言 2、Related Work相关工作 3、Estimating the optimal parameter/training tokens allocation估
Understanding Low-Rank Adaptation (LoRA) for Efficient Fine-Tuning of Large Language Models
bbbeoy的专栏
07-26 1005
This blog post will go into detail about how LoRA works to fine-tune LLMs, following the methodology set out in the “LoRA: Low-Rank Adaptation of Large Language Models” paper
LLMs之GLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-20 3695
​ LLMs之ChatGLM：《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 目录 《ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools》翻译与解读 Abstract 1 Introduction引言 2 ChatGLM
【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3427
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
TP、PP、DP、集群GPU卡数、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】【grad_accum_steps=gbz/(mbz*DP)】
u013250861的博客
03-24 933
【代码】TP、PP、DP、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】
大语言模型在金融风控中的应用
AI天才研究院
03-09 1243
金融风控是金融机构确保其资产安全和业务稳定的重要手段。随着金融市场的复杂性和交易量的增加，传统的风控方法已难以应对日益增长的风险。近年来，随着大数据和人工智能技术的快速发展，金融风控领域逐渐引入了新的技术手段，其中大语言模型的应用尤为引人注目。大语言模型（Large Language Models, LLMs）通过在大规模文本数据上进行预训练，具备了强大的语言理解和生成能力。这些模型不仅能够处理结构化数据，还能从非结构化文本中提取有价值的信息，从而为金融风控提供了新的解决方案。
高比例可再生能源电力系统的调峰成本量化与分摊模型——基于Matlab、Yalmip和Cplex的优化研究
04-28
内容概要：本文探讨了高比例可再生能源接入对电力系统调峰能力的影响，提出了一种基于净负荷波动的调峰成本量化与分摊模型。首先，通过将负荷和可再生能源出力曲线转换为无波动的均值线，构建了无调峰需求的替代场景。接着，建立了含深度调峰和抽水蓄能的调度优化模型，用于计算不同场景下的调峰成本。通过比较有无调峰需求两种场景下的系统调峰成本，确定了单一主体导致的边际调峰成本，并采用Shapley值方法合理分摊调峰成本。研究表明，该模型可以有效反映各主体的调峰成本或贡献，有助于促进可再生能源的消纳和电力系统的稳定运行。 适合人群：从事电力系统规划、运营管理和可再生能源研究的专业人士，以及关注能源政策和技术发展的研究人员。 使用场景及目标：适用于评估和优化高比例可再生能源接入条件下的电力系统调峰成本，旨在提高电力系统的灵活性和经济性，同时促进可再生能源的有效利用。 其他说明：该模型需要根据实际情况进行调整和优化，以适应不同地区的电力市场特点和技术水平。
ABB机器人与博图V16 Profinet通讯及外部启动配置详解
04-28
内容概要：本文详细介绍了如何使用博图V16进行ABB机器人的外部启动及其与西门子设备的Profinet通讯配置。首先概述了ABB机器人和博图V16的基本概念，接着深入讲解了外部启动的重要性和实现方式，重点介绍了FB功能块的应用，以及Profinet通讯的具体配置步骤。文中还强调了GSD文件的作用，用于描述机器人的属性和行为，最后讨论了硬件配置的要求和注意事项，特别是对dsqc1030或dsqc652板卡的支持和888-2或888-3选项的需求。 适合人群：从事工业自动化领域的工程师和技术人员，尤其是那些负责机器人集成和编程的专业人士。 使用场景及目标：适用于需要将ABB机器人与西门子设备通过Profinet网络进行通讯并实现外部启动的项目。目标是提高自动化生产线的灵活性和效率，确保机器人和PLC之间的无缝协作。 其他说明：本文不仅提供了理论指导，还包含了实际操作中的关键细节，有助于读者快速掌握相关技能并在实践中应用。
scratch少儿编程逻辑思维游戏源码-3D环境.zip
04-28
scratch少儿编程逻辑思维游戏源码-3D环境.zip
少儿编程scratch项目源代码文件案例素材-泼溅猫.zip
04-28
少儿编程scratch项目源代码文件案例素材-泼溅猫.zip
新能源领域基于EMD-ARMA的风光出力预测方法及其应用
最新发布
04-28
内容概要：本文介绍了基于EMD-ARMA的组合风光出力预测方法，详细阐述了经验模态分解（EMD）和自回归移动平均（ARMA）模型的应用步骤。首先，通过EMD将原始发电数据分解为多个本征模态函数（IMF），然后用ARMA模型对各IMF分量进行建模和预测，最后将预测结果叠加重构，获得最终的风光功率预测值。文中还提供了简化的Python代码示例，帮助读者理解和实现该方法。 适合人群：从事新能源研究和技术开发的专业人士，尤其是对风光发电预测感兴趣的科研人员和工程师。 使用场景及目标：适用于需要提高风光发电预测精度的项目，旨在通过先进的数学模型优化电力调度和资源配置。 其他说明：本文提供的代码示例仅用于教学目的，实际应用中需根据具体情况调整和完善。此外，建议在实践中参考更多专业文献和寻求专家意见以确保预测模型的准确性和可靠性。
large language model
07-12
大型语言模型（Large Language Model，LLM）是指在大规模语料库上进行预训练的深度学习模型，用于自然语言处理任务。这些模型通常基于神经网络架构，如循环神经网络（RNN）或变种，如长短时记忆网络（LSTM）或Transformer模型。预训练过程使模型能够学习语言的潜在结构、语法和语义，并捕捉大量文本数据中的统计规律。 一旦预训练完成，LLM可以用于各种下游任务，如文本生成、机器翻译、问题回答等。通过微调或迁移学习，LLM可以根据具体任务进行进一步训练，以提高性能。 一些知名的大型语言模型包括OpenAI的GPT系列（如GPT-3）、Google的BERT和XLNet等。这些模型在各自领域取得了显著的成果，但也需要大量的计算资源和数据来进行训练和使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Yongqiang Cheng

梦想不是浮躁，而是沉淀和积累。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值