![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
量化
喜米苏
FPGA、深度学习领域
展开
-
剪枝与量化
剪枝就是将训练好的「大模型」的不重要的通道删除掉,在几乎不影响准确率的条件下对网络进行加速。而量化就是将浮点数(高精度)表示的权重和偏置用低精度整数(常用的有int8)来近似表示。量化计算的验证:用一层3x3网络验证量化计算,步骤如下:提取网络参数,包括weight的value,zero_point,量化值和scale; 输入四张图片,将其转换成uint8 ; 进行卷积计算(定点) 然后再转换回浮点。一定要注意几个scale的作用:quan.scale和quan.zero_point是对.原创 2021-01-06 10:59:42 · 1835 阅读 · 0 评论 -
量化总结
卷积神经网络量化一、为什么要量化?卷积神经由于参数量和计算量太大,无法在移动设备上部署。在深度神经网络模型应用中,量化是削减模型大小的一种常用方法。为什么要削减模型,是因为硬件平台的自身性能不理想,如计算力低,内存、电量消耗等限制,导致模型推断速度慢、功耗高。而定点运算指令比浮点运算指令在单位时间内能处理更多数据,同时,量化后的模型可以减少存储空间。当然,也可以将量化后的模型部署在高效的定制化计算平台上以达到更快的推断速度。二、量化的好处?1.而且正常卷积神网络是浮点32位的,我们可以量化成int8原创 2020-10-24 17:14:26 · 2700 阅读 · 0 评论