大模型参数量计算说明（B、bit、byte、bytes、参数量、llama3、GB、GiB）

最新推荐文章于 2025-04-02 13:08:10 发布

Le0v1n

最新推荐文章于 2025-04-02 13:08:10 发布

阅读量1.2k

点赞数 22

分类专栏： LM 面试题（Interview Questions）奇奇怪怪的知识文章标签： python 人工智能 llama

搬的时候标注一下来源，谢谢。

本文链接：https://blog.csdn.net/weixin_44878336/article/details/145498057

版权

87 篇文章

订阅专栏

20 篇文章

订阅专栏

4 篇文章

订阅专栏

1. 大模型参数量计算说明

在计算机中，1byte=8bit，而LLM说的多少多少B都说的是Byte即字节B，以llama3-7B为例：

7B的B表示Billion即10亿

那么一个参数会占据多少空间呢？我们需要看一下模型的精度，下面是不同精度中一个参数占据的大小：

要记住 1 byte = 8 bit

那个对于不同精度的llma3-7B而言，所需要的内存大小如下表所示：

精度	所需要内存大小（KB）	所需要内存大小（MB）	所需要内存大小（GB）
llama3-7B(int4)	7,000,000,000 * 0.5 / 1024¹ ≈ 3,417,968 KB	7,000,000,000 * 0.5 / 1024² ≈ 3,337 MB	7,000,000,000 * 0.5 / 1024³ ≈ 3.25 GB
llama3-7B(int8)	7,000,000,000 * 1 / 1024¹ ≈ 6,835,937 KB	7,000,000,000 * 1 / 1024² ≈ 6,675 MB	7,000,000,000 * 1 / 1024³ ≈ 6.52 GB
llama3-7B(fp16)	7,000,000,000 * 2 / 1024¹ ≈ 13,671,875 KB	7,000,000,000 * 2 / 1024² ≈ 13,351 MB	7,000,000,000 * 2 / 1024³ ≈ 13 GB
llama3-7B(fp32)	7,000,000,000 * 4 / 1024¹ ≈ 27,343,750 KB	7,000,000,000 * 4 / 1024² ≈ 26,702 MB	7,000,000,000 * 4 / 1024³ ≈ 26.07 GB

🥳 𝑨𝒏𝒔𝒘𝒆𝒓：无论计算机是32位还是64位，1 byte = 8 bit 的定义都是固定的。

标准化：在计算机科学中，字节（byte）和位（bit）的定义是基于国际标准组织（ISO）和电气与电子工程师协会（IEEE）等权威机构的规范。这些规范确保了计算机系统之间的兼容性和一致性。
硬件设计：计算机硬件（如CPU、内存等）的设计也基于这些基本单位。例如，内存地址是以字节为单位进行寻址的，而每个字节由8个位组成。这种设计在所有现代计算机系统中都是一致的，无论其是32位还是64位。

🥳 𝑨𝒏𝒔𝒘𝒆𝒓：32位和64位计算机的区别主要体现在以下几个方面：

地址空间：
- 32位计算机：地址空间为2³²（约4GB），这意味着它最多可以访问4GB的内存。
- 64位计算机：地址空间为2⁶⁴（约18 EB，即1800万TB），理论上可以访问的内存数量远远超过32位计算机。
寄存器宽度：
- 32位计算机：CPU的寄存器宽度为32位，每次处理的数据宽度为32位。
- 64位计算机：CPU的寄存器宽度为64位，每次处理的数据宽度为64位，这使得它在处理大整数和高精度计算时更加高效。
性能和效率：
- 64位计算机：由于寄存器宽度更大，可以处理更多的数据，同时支持更多的指令集优化，因此在某些计算密集型任务中性能更高。
- 32位计算机：在某些简单任务中可能已经足够，但在处理大规模数据或复杂任务时可能会受限。

🥳 𝑨𝒏𝒔𝒘𝒆𝒓：对于内存和硬盘而言，最小单位的定义有所不同：

内存的最小单位是字节（Byte），内存的读写操作是以字节为单位进行的，而不是单个位（bit）。这是因为内存的物理结构和寻址机制是以字节为基本单位设计的。例如，内存条内部的存储单元是以字节为单位进行组织和管理的。
硬盘
- 物理存储的最小单位是扇区（Sector）：硬盘的物理读写操作是以扇区为最小单位进行的，而不是字节。通常情况下，每个扇区的大小是512字节。不过，随着技术发展，一些现代硬盘的扇区大小也可能是4KB。
- 逻辑存储的最小单位是簇（Cluster）：操作系统对硬盘的管理是以簇为单位的，簇是由多个扇区组成的逻辑单位。簇的大小因文件系统而异，例如常见的4KB簇。
总结：
- 内存：最小单位是字节（Byte）。
- 硬盘：物理存储的最小单位是扇区（Sector），逻辑存储的最小单位是簇（Cluster）。

🥳 𝑨𝒏𝒔𝒘𝒆𝒓：

🥳 𝑨𝒏𝒔𝒘𝒆𝒓：1 byte = 8 bit 的定义是基于计算机硬件设计和数据表示的需要，而其他单位（如 KB、MB、GB 等）使用 1024 的换算关系则是为了更好地适应计算机系统的二进制特性。

🥳 𝑨𝒏𝒔𝒘𝒆𝒓：GiB（Gibibyte） 和 GB（Gigabyte） 是两种不同的存储容量单位，它们的主要区别在于它们的换算基数不同：

GB（Gigabyte）
- 定义：GB 是基于 十进制 的存储单位，1 GB = 1000 MB。
  - 换算关系：
    - 1 GB = 1000 MB
    - 1 MB = 1000 KB
    - 1 KB = 1000 字节（Bytes）
- 计算：1 GB = 1000×1000×1000=1,000,000,000 字节。
- 应用场景：GB 通常用于描述存储设备的容量，如硬盘、SSD、U盘等。这些设备的容量通常以 GB 或 TB 为单位。

区别总结
- 换算基数：
  - GiB：基于 二进制，换算基数为 1024。
  - GB：基于 十进制，换算基数为 1000。
  - 数值差异：
    - 1 GiB = 1,073,741,824 字节
    - 1 GB = 1,000,000,000 字节
    - 因此，1 GiB ≈ 1.0736 GB。
- 使用场景：
  - GiB：主要用于计算机内存、文件大小等计算机科学领域。
    - GB：主要用于存储设备容量的描述。
示例
- 内存容量：通常以 GiB 为单位，例如 8 GiB 内存。
- 硬盘容量：通常以 GB 或 TB 为单位，例如 1 TB 硬盘。
注意事项：由于 GiB 和 GB 的换算基数不同，因此在实际使用中需要注意单位的转换，以避免混淆。例如，当购买存储设备时，标注的容量通常是基于 GB 的，而计算机系统在显示存储容量时可能会以 GiB 为单位，这可能会导致用户感觉实际可用容量比标注的少。