今天看NVIDIA的帕斯卡架构介绍时,看到了fp16浮点数格式,以前没见过,想弄清楚他的格式和表示范围,几经查找,终于搞懂了。主要参考:fp16-wiki
如图,一个fp16数据占据两个字节,其中1位符号位,5位指数位,10位有效精度。
符号位:0:代表正数;
1:代表负数。
指数位:与15的偏差。
max_e=11110-01111=15;
min_e=00001-01111=-14;
00000和11111有其他意义。
10位精度位,我理解的计算方式是:
0000 0000 01:1+2^-10
0000 0000 11:1+2^-9+2^-10
1111 1111 11:1+2^0-2^-10
数值计算公式为:(-1)^signbit * 2^(e) * (1+significantbits)
最大值为:0 11110 1111111111=(-1)^0 * 2^15 * (1+1-2^-10)=65504
最小值为:0 00001 0000000000=2^-14=6.10 * 10^-5