大模型内容分享(二)：浮点运算——CPU 和 GPU 算力是如何计算的

简单了解算力

算力（Computational Power）在计算机科学和计算领域中是一个重要概念，它指的是计算机系统或设备执行数值计算和处理任务的能力。提升算力意味着可以更快地执行复杂的计算任务，从而提高计算的效率和性能。简单来说，算力决定了计算机处理信息的速度和效率，直接影响我们使用电子设备的体验，例如网页加载速度和游戏流畅度等。

在数字经济时代，算力是新的生产力，为加强数字政府建设、激活数据要素潜能以及实现各行各业的数字化转型提供了动力。据中国信息通信研究所的测算，每投入1元的算力，可以带动3至4元的经济产出。算力的提升对经济具有巨大的影响力。根据统计数据显示，每提高一个算力指数点，可以带动数字经济增长 0.36% 和 GDP 增长 0.17%。

那算力大小具体是如何衡量的呢？这里就必须提及浮点运算，接下来我们来了解下浮点运算这个概念。

什么是浮点运算

算力最基本的计量单位是 FLOPS，英文 Floating-point Operations Per Second，即每秒执行的浮点运算次数。浮点运算其实就是带小数的加减乘除运算。

举个例子：1.1+2.2 就是典型的浮点运算，估计你已经心算出结果是 3.3 了。不过对计算机来说，这个问题并不简单。我们知道，计算机是以 0 和 1 构成的二进制数字进行运算的，比如在基础的二进制里，1 就是 1，2 就变成了 “10”，3 是 “11”，这也带来一个问题：计算机能够处理的数字只有整数。其实，0.1 可以看成是1除以10的结果，我们想让计算机计算一个带小数点的数字，只要告诉 CPU 这是一个被 1 后面加了多少个 0 整除的整数就行了。这样一来，计算机在处理小数点的时候，就多了好几个运算步骤。浮点运算的速度也就成了衡量计算机性能的标准。

算力的计量单位，除了 FLOPS，从小到大还有：

• KFLOPS（每秒1000次浮点运算，10^3）

• MFLOPS（每秒1百万次，10^6）

• GFLOPS（每秒10亿次，10^9）

• TFLOPS（每秒1万亿次，10^12）

• PFLOPS（每秒1000万亿次，10^15）

• EFLOPS（每秒100亿亿次，10^18）

浮点数

浮点数的浮点就是指它的小数点的位置是可以是漂浮不定的。这怎么理解呢？其实，浮点数是采用科学计数法的方式来表示的，例如十进制小数 1.234，用科学计数法表示，可以有多种方式：

1.234 = 1.234 * 10^0
1.234 = 12.34 * 10^-1
1.234 = 123.4 * 10^-2
...

用这种科学计数法的方式表示小数时，小数点的位置就变得漂浮不定了。使用同样的规则，对于二进制数，我们也可以用科学计数法表示，也就是说把基数 10 换成 2 即可。那浮点数如何表示数字？其实浮点数是采用科学计数法来表示一个数字的，它的格式可以写成这样：

V = (-1)^S * M * R^E

其中各个变量的含义如下：

• S：符号位，取值 0 或 1，决定一个数字的符号，