模拟人类大脑每秒计算数量级及参数容量的估计

      因为海马区两类中间神经元峰值放电频率为310±33.17Hz（类型Ⅰ）和410±47.61Hz（类型Ⅱ）[1]。可以推断出人类神经元的最大计算频率在450Hz左右。可以在最大值410+47.61Hz上保守估计为500Hz。

      根据维基百科List of animals by number of neurons人类神经元数量为860亿，突触数量为10^14–10^15，也就是人类每个神经元平均拥有1163~11628个神经突触，下面我们取最大值 11628 作为基准以方便论述。所以大脑每秒最高计算量为860亿乘以500为：43万亿（这里认为突触只参与数据传输）。

      根据现有的神经元计算模型,如下（来源于ufldl.stanford）

      其中平均每个神经元计算1次需要的计算为：

                                                        

      其中n=11628。f 为Sigmoid函数或者其他激活函数。f 函数中的浮点计算次数为：23254次。f 函数的浮点计算次数为4次左右，所以整个h浮点计算次数为：23258次（这里忽略I/O的效能、内存的架构、快取内存一致性等，下同）。

      假设以大脑的神经元数量（860亿）为需要模拟的神经元数量，以前面大脑处理频率（500Hz）作为计算频率，那么计算机每秒最高需要的总浮点计算次数为：79亿亿次。

      可见现在神经元的计算模型严重依赖于突触的数量，其计算量是最高需要大脑的18327倍！ (现在的深度网络已经废弃Sigmoid而以Relu作为激活函数，其中的计算会遇到大量的0值，但是以现在的算法和计算机模型，0值依然要计算，而大脑却不是，大脑的计算方式是惰性计算，即有电流（值）传到神经元才计算，没有就不计算，所以这也是大脑高效的一个原因) 。 因为我们的大脑不会在同一时间其所有的神经元同时激活，所以这里我们在估算大脑的计算数量级的时候，忽略了大脑神经元的平均激活数量和最大激活数量，而仅仅以总的数量作为计算激活数量。如果以最大激活数量作为我们计算法基准，那么整个计算的数量级可能下降很多，此时计算机需要模拟的每秒最高计算次数：如果最多同时激活50%神经元时为，39.5亿亿次；同时激活10%时为，7.9亿亿次。

      天河二号的峰值计算速度每秒5.49亿亿次，因为上面计算量取的最多突触连接和最大大脑处理频率时的，所以天河二号有高可能性能够模拟人类大脑。

      最近（2016年3月）看了AlphaGo与李世石的比赛时的硬件数据，根据估计其运算速度大概为500万亿次浮点每秒，假设在此时AlphaGo与李世石的用脑量相同，那么模拟人脑所需要的计算量应该比上面估计的还要小。

     可以说当PC计算速度超过1亿亿次浮点每秒的时候，计算（机器）智能将迎来了一个新的纪元，人类也将迎来一个新的纪元。

    附：如果按照现代神经网络的架构，和人脑相同的参数，那么人脑参数量为：100~1000万亿参数量，参数以float类型表示，即占用4 byte，那么计算机所需要的硬盘空间大概为400TB~4000TB【突触数量x4/10^12】。

参考

  1. 海马CA1区ripple节律相关高频放电中间神经元