有关FLOPS的定义与计算

FLOPS（即“每秒浮点运算次数”，“每秒峰值速度”），是“每秒所执行的浮点运算次数”（floating-point operations per second）的缩写。它常被用来估算电脑的执行效能，尤其是在使用到大量浮点运算的科学计算领域中。正因为FLOPS字尾的那个S，代表秒，而不是复数，所以不能省略掉。

一个MFLOPS（megaFLOPS）等于每秒一佰万（=10^6）次的浮点运算，

一个GFLOPS（gigaFLOPS）等于每秒十亿（=10^9）次的浮点运算，

一个TFLOPS（teraFLOPS）等于每秒一万亿（=10^12）次的浮点运算，(1太拉)

一个PFLOPS（petaFLOPS）等于每秒一千万亿（=10^15）次的浮点运算，

一个EFLOPS（exaFLOPS）等于每秒一佰京（=10^18）次的浮点运算。

   浮点计算峰值＝处理器个数×处理器主频×每秒可进行的最高浮点运算次数（FMAD,乘加指令）

如下图所示：G80以及至今所有nvidia GPU的流处理器内部有两个ALU单元。
流处理器工作频率 x 流处理器数量 x 每流处理器的FLOPs数量（2个）=总数

每流处理器的FLOPs数量 == 指令吞吐率 = 2

sp可以做一个乘法一个加法

kepler:2880*0.745*2=4290Gflops 频率无需x2 sp频率和核心频率相同

fermi: 512*0.650*2*2=1330Gflops 频率需x2 sp频率是核心频率的2倍

CUDA 中FLOPS的计算方法如下：

（1）统计您每个线程的计算次数
（2）将此值乘以您的线程总数
（3）统计出总时间（利用profiler或者自己计时），将2中的值（所有线程的计算次数）除以计算时间，您将得到每秒的计算次数。
（4）因为3中的值往往较大，所以大家一般使用GFlops来衡量（Giga float operations per second),
1G次运算 = 10 ^ 9次方次运算。