剪枝与量化
剪枝就是将训练好的「大模型」的不重要的通道删除掉,在几乎不影响准确率的条件下对网络进行加速。而量化就是将浮点数(高精度)表示的权重和偏置用低精度整数(常用的有int8)来近似表示。
量化计算的验证:
用一层3x3网络验证量化计算,步骤如下:
提取网络参数,包括weight的value,zero_point,量化值和scale;
输入四张图片,将其转换成uint8 ;
进行卷积计算(定点) 然后再转换回浮点。
一定要注意几个scale的作用:quan.scale和quan.zero_point是对.
原创
2021-01-06 10:59:42 ·
1843 阅读 ·
0 评论