人脑的算力估算

最新推荐文章于 2024-07-23 12:05:00 发布

大囚长

最新推荐文章于 2024-07-23 12:05:00 发布

阅读量4.1k

点赞数

分类专栏：机器学习

原文链接：https://zhuanlan.zhihu.com/p/228845870

版权

机器学习专栏收录该内容

38 篇文章 5 订阅

订阅专栏

这篇文章的起因是前些天听到一句话：“人脑的算力大概是5000TOPS”，由此产生了些许疑惑。本着“求是”的精神，讨论一下人脑算力的估算值。如果你也有诸如“电脑的计算力达到人脑水平了吗”之类的疑惑，推荐你阅读。

首先，为了完成算力估算和对比，得和读者们约定一个计量单位。这里我们使用在业界常用的指标：OPS，即每秒运算次数（Operations per second）。对任一个处理器，每秒钟能够处理的运算次数越多，则意味着算力越强。

一些常见的单位包括：

GOPS（gigaOPS，每秒十亿次运算）
TOPS（teraOPS，每秒一兆/一万亿次运算）
POPS（petaOPS，每秒一千兆/一千万亿次运算）
其他的还可见下表：

除了OPS之外，常用的还有FLOPS（每秒浮点运算次数， Floating-point operations per second）。浮点运算属于运算（OP）的一种，指的是带小数的加减乘除运算。

从Wikipedia上摘一些不同处理器的算力水平[2]，供大家对算力的强弱形成一些直观的感受：

NVIDIA GeForce RTX 2080: 10.1 TFLOPS
NVIDIA Tesla V100: 14.1 TFLOPS
神威太湖之光：93.01 PFLOPS
比特币全网算力(2018/5) : 35 EFLOPS（exaFLOPS，每秒一百京/一百亿亿次浮点运算）

第二步，理解了计量单位之后，可以开始粗略估算一下人脑的算力。

注：对于人脑的算力估计方式多种多样，从 1015到 1028 FLOPS都有，因此本文采用的估算方法仅代表我个人观点，并非权威，特此说明。

做几个数字上的估计（这些数字可能会随着对人脑的研究发生变化）：

单个人脑的神经元数量：普遍估计是~1000亿个；
单个神经元与多少个其他神经元连接：估计是在10000个这一量级；
单个神经元连接的激活速度：这一部分的争议较大，这里选用参考文献[4]中的数值——单个神经元的激活频率约2Hz，即一秒激活2次；

根据这三个维度的数字，我们有：

人脑的算力=神经元个数（10^11个）*单个神经元连接数（10^4个）*单个连接的激活速度（2 OP/个秒）；

因此，我们估算出的人脑算力在2x10^15 OPS的量级，即是2 petaFLOPS左右。和下图左下角的对人脑的估算结果2.2 billion megaflops [5]相同，接近本文引言部分提的5000TOPS（同一量级），但小于神威·太湖之光的93.01 petaFLOPS。

最后，从数值上看计算脑已经远超人脑了，但这并不意味着计算脑和人脑之间已经不存在差距了。我们可以从下面几点来辩证地看待这篇文章：

前文使用的FLOPS不能完全反映人脑的算力。FLOPS其实只能表达计算性能的一部分，其他同样重要的指标例如：数据的读写性能。往往一款芯片它在实际运行时的算力和它的理论FLOPS之间，存在着一段不小的差距。另外，人脑并不是为数学运算而生的，而FLOPS衡量的运算速度只是数学运算意义上的算力；
哪怕在实现相同算力的情况下，人脑的功耗远低于而效率却远高于计算脑。一台超级计算机的耗能足够供给一整栋大楼，而一个人脑的耗能约等于点亮一个灯泡[1]。因此，为了将功耗也纳入性能的考量，越来越多使用TOPS/W作为性能指标之一，即衡量在1W功耗下，处理器能进行的运算次数。类似的，一台超级算机器的占用空间远高于一个人脑的体积；

在自动驾驶领域使用的嵌入式芯片的神经网络计算单元，除了用OPS来衡量以外，还需要额外考虑能效比TOPS/W [3]：

Mobileye Eye Q4：2.5 TOPS，3W，0.83 TOPS/W
地平线J2：4 TOPS，2 W，2 TOPS/W
NVIDIA Xavier：30 TOPS，30 W，1 TOPS/W
Tesla FSD 单芯片：144 TOPS，72 W，2 TOPS/W
黑芝麻华山二号A1000：40 TOPS，8-10W，5 TOPS/W
地平线J5：96 TOPS，15W，6 TOPS/W
计算脑发展至今的结构仍遵循着“冯·诺依曼体系”，在这个结构下的神经网络、深度学习方法，其运算、学习的效率仍远低于人脑。

总的来说，计算脑和人脑的差距不是简单能用数字来衡量的，可能是方法论上的差距。

计算脑在存储和运算速度上强于人脑，但人脑在运算效率上远高于计算脑。

而现在的浅薄的我们，能做到的只是用这些浅薄的数字做一些“管中窥豹”、“坐井观天”的工作罢了。

人类进化了上亿年才出现了如今的完美、高效的器官，对于计算脑，不妨让子弹再飞一会儿。

参考文献：
[1] https://foglets.com/supercomputer-vs-human-brain/
[2] https://zh.wikipedia.org/wiki/%E6%AF%8F%E7%A7%92%E6%B5%AE%E9%BB%9E%E9%81%8B%E7%AE%97%E6%AC%A1%E6%95%B8
[3] http://www.51wctt.com/News/45730/Detail/1
[4] https://aiimpacts.org/rate-of-neuron-firing/
[5] https://www.scientificamerican.com/article/computers-vs-brains/