浮点数的二进制计算-乘法及移位运算

CYuNuo

已于 2023-02-18 16:11:52 修改

阅读量1.8k

点赞数 1

分类专栏：并行计算文章标签：人工智能

于 2023-02-18 16:06:35 首次发布

本文链接：https://blog.csdn.net/weixin_43627680/article/details/129097335

版权

5 篇文章 1 订阅

订阅专栏

python code仿真嵌入式内核（AI芯片，GPU等）的计算行为，浮点数运算对于底层运算的来说为二进制运算。

bfloat16二进制表示:1bit符号位，0为正，1为负；8bit的指数位；7bit的尾数

与FP32（1，8，23）比较，bf16的表示范围没有变化，只是最小粒度发生变化，fp32最小数值粒度 $1/2^{23}$ ,bf16最小数值粒度 $1/2^{7}$ .同时节约内存资源，FP32占4B，bf16占2B。

浮点数十进制转化成二进制

3.75 -> 11.11 -> 1.111 x 2^1 -> 指数部分位127+1 = 128 -> 0 10000000 1100000

浮点数一般舍入原则

floor	向下取整
ceil	向上取整
roundtozero	向靠近0的方向取整
roundtoceil	向远离0的方向取整
roundtoeven	$frac = x - \left \lfloor x \right \rfloor$ $frac < 0.5, y = \left \lfloor x \right \rfloor, frac > 0.5, y = \left \lceil x \right \rceil$ $frac == 0.5, \left \lfloor x \right \rfloor/2 \epsilon \mathbb{Z}, y=\left \lfloor x \right \rfloor$ $frac == 0.5,\left \lfloor x \right \rfloor/2 \notin \mathbb{Z},y = \left \lceil x \right \rceil$
roundtoodd	$frac = x - \left \lfloor x \right \rfloor$ $frac < 0.5, y = \left \lfloor x \right \rfloor, frac > 0.5, y = \left \lceil x \right \rceil$ $frac == 0.5, \left \lfloor x \right \rfloor/2 \epsilon \mathbb{Z}, y=\left \lceil x \right \rceil$ $frac == 0.5,\left \lfloor x \right \rfloor/2 \notin \mathbb{Z},y = \left \lfloor x \right \rfloor$