2020年01月_WTHunt

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 tensorflow量化策略详解

第一种，混合量化--仅量化权重该方式将浮点型的权重量化为int8整型，可将模型大小直接减少75%、提升推理速度最大3倍。该方式在推理的过程中，需要将int8量化值反量化为浮点型后再进行计算，如果某些Ops不支持int8整型量化，那么其保存的权重依然是浮点型的，即部分支持int8量化的Ops其权重保存为int8整型且存在quantize和dequantize操作，否则依然是浮点型的，因而称该方式...

2020-01-06 01:14:16 1217

原创神经网络压缩之低比特量化的优劣分析

优势减小模型尺寸（减少内存占用）：如8位整型量化可减少75%的模型大小，更小的模型大小意味着不需要更多的内存加快推理速度：1）8 位的访问次数要比 32 位多，在读取 8 位整数时只需要 32 位浮点数的 1/4 的内存带宽，例如，在 32 位内存带宽的情况下，8 位整数可以一次访问 4 个，32 位浮点数只能 1 次访问 1 个。而且使用 SIMD 指令(19.2节会加速介绍该指令集...

2020-01-05 22:09:38 1893

原创移位存储详解

IEEE 754 浮点数存储标准规定浮点数格式如下：s表示符号位，当s=0，V为正数；当s=1，V为负数E表示8位阶码，采用移位存储M表示23位尾数，如M为10100....，那么M所代表的二进制浮点数为M'=1+1/2+1/2^2=1.75，2>M'>=1根据32位数计算为十进制：V=(−1)^s × M' × 2^(E−127)，移位存储详解如...

2020-01-01 10:58:26 2175