《大规模语言模型从理论到实践》--分布式训练

本文链接：https://blog.csdn.net/weixin_42264784/article/details/142728808

本笔记结合个人理解整理，如有建议欢迎评论指出。

感谢B站zomi酱up主。

一、计算机基础知识

5分钟看懂电脑硬件配置 - 知乎 (zhihu.com)

1.1 GPU和CPU

显存

定义：显存是显卡上的专用高速缓存，用于存储图形处理器（GPU）在处理图像和视频数据时所需的临时数据。

功能：显存的主要作用是提供GPU快速访问的数据存储，支持图形渲染和并行计算任务。

内存

定义：内存（RAM）是计算机系统中的一种易失性存储器，用于存储CPU执行程序时所需的临时数据。

功能：内存为CPU提供快速访问的数据存储，支持程序的运行和数据的处理。它是外存与CPU进行沟通的桥梁，计算机中所有程序的运行都在内存中进行。

CPU

定义：CPU（Central Processing Unit）是计算机系统的核心处理器，负责执行程序中的指令，处理数据。

功能：CPU通过读取内存中的数据，执行指令，完成计算和控制任务。它是信息处理和程序运行的最终执行单元。

GPU

定义：GPU（Graphics Processing Unit）是图形处理器，专门用于处理图形和图像数据，以及进行并行计算。

功能：GPU通过其大量的核心和高速显存，能够高效地处理图形数据，同时支持深度学习等并行计算任务。

显卡

定义：显卡（Graphics Card）是一种专门用于处理图像和视频数据的硬件设备。

功能：显卡的主要作用是将计算机中的数字信号转换为可以在显示器上显示的图像信号。它通常由处理器（GPU）、显存、电路板等部分组成。

1.2 计算机参数和数据量的单位

1.2.1参数量的单位

参数量指的是模型中所有权重和偏置的数量总和。在大模型中，参数量的单位通常以“百万”（M）或“亿”（B，也常说十亿）来表示。

百万（M）：表示一百万个参数。例如，如果一个模型有110M个参数，那么它实际上有110,000,000（即1.1亿）个参数。
亿（B）：表示十亿个参数。例如，GPT-3模型有175B个参数，即175,000,000,000（即1750亿）个参数。

1.2.2 数据量的单位

在大数据和机器学习的语境下，数据量通常指的是用于训练或测试模型的数据的大小。数据量的单位可以是字节（Byte）、千字节（KB）、兆字节（MB）、吉字节（GB）等。

字节（Byte）：是数据存储的基本单位。一个字节由8个比特（bit）组成。
千字节（KB）：等于1024个字节。
兆字节（MB）：等于1024个千字节，也常用于表示文件或数据的大小。
吉字节（GB）：等于1024个兆字节，是较大的数据存储单位。

在大模型中，由于模型参数通常是以浮点数（如float32）存储的，因此可以通过模型参数量来计算模型所需的存储空间大小。例如，如果一个模型有1.1亿个参数，并且每个参数用float32表示（即每个参数占4个字节），那么该模型所需的存储空间大约为44MB（1.1亿×4字节/1024/1024）。

bit（比特）：bit是二进制数字中的位，是信息量的最小单位。在二进制数系统中，每个0或1就是一个bit。bit是计算机内部数据存储和传输的基本单位。在数据传输过程中，通常以bit为单位来表示数据的传输速率或带宽。

字节（Byte）定义：字节是计算机信息技术用于计量存储容量的一种单位，也表示一些计算机编程语言中的数据类型和语言字符。字节通常由8个bit组成。字节是计算机中数据处理的基本单位。在存储数据时，通常以字节为单位来表示数据的大小或容量。

bit和字节的关系：1字节（Byte）等于8比特（bit）。在计算机科学中，经常需要将数据的大小从字节转换为比特，或者从比特转换为字节。例如，在数据传输过程中，如果知道数据的传输速率是以比特每秒（bps）为单位的，那么可以通过除以8来将其转换为字节每秒（Bps）的单位。

二、 AI集群

2.1 集群的概念

集群就是指一组（若干个）相互独立的计算机，利用高速通信网络组成的一个较大的计算机服务系统，每个集群节点（即集群中的每台计算机）都是运行各自服务的独立服务器。这些服务器之间可以彼此通信，协同向用户提供应用程序，系统资源和数据，并以单一系统的模式加以管理。当用户请求集群系统时，集群给用户的感觉就是一个单一独立的服务器，而实际上用户请求的是一组集群服务器。