算法部署——量化概述

最新推荐文章于 2024-09-22 16:34:30 发布

一个热爱学习的深度渣渣

最新推荐文章于 2024-09-22 16:34:30 发布

阅读量1k

点赞数

分类专栏：算法部署文章标签：算法计算机视觉 c++

本文链接：https://blog.csdn.net/weixin_40620310/article/details/119991569

版权

10 篇文章 19 订阅

订阅专栏

本文详细介绍了深度学习模型的量化原理，包括数据类型的范围和量化流程，特别是如何通过KL散度评估量化效果，并给出了NCNN的安装步骤。在NCNN中，量化过程由ncnn2table工具描述，通过阅读源码可以深入了解网络结构和算子实现。掌握C++编程对于算法部署至关重要。

摘要由CSDN通过智能技术生成

1、数据类型范围

在这里插入图片描述

2、原理详解

在这里插入图片描述

实现流程：在每层计算时需要先将feature map量化到INT8，然后将weights量化到INT8，最后卷积计算得到INT32的输出值，输出值乘以scale（float）值反量化到float，然后加上浮点格式的bias作为下一层的输入；

在这里插入图片描述

使用KL散度判断量化的好坏；

Scale = T / 127；

KL散度计算公式：

在这里插入图片描述

$ git clone https://github.com/Tencent/ncnn.git
$ cd ncnn
$ cd build
$ cmake -DNCNN_VULKAN=OFF ..
$ make -j8
$ make install

在ncnn根目录下的src文件中，有各个网络层的定义源码，可供查阅；

在ncnn根目录下的tools/quantize中，ncnn2table描述了量化的全过程，详情请看源码；

算法部署中量化的操作过程并不复杂，重点需要掌握的时C++的使用，这在整个部署中也是至关重要的；对于各个算子的实现，也可根据NCNN的源码进行阅读，加深对网络结构的理解；

关注

专栏目录