超级会员免费看
本文档介绍了地平线X3芯片的量化工具链开发，包括简介、环境安装步骤。量化工具链主要用于将浮点模型转化为定点模型，适用于旭日3代芯片。环境安装涉及Docker和手工安装两种方式，强烈推荐使用Docker。文档还详细阐述了各个安装步骤及使用版本管理工具ddk_vcs的方法。
6. 量化工具链开发指南
6.1. 简介
地平线X3芯片量化工具链是基于地平线旭日3代芯片研发的芯片算法解决方案，可以帮助您把浮点模型量化为定点模型， 并在地平线AI芯片上快速部署自研算法模型。
目前在GPU上训练的模型大部分都是浮点模型，即参数使用的是float类型存储；地平线BPU架构的AI芯片使用的是 INT8 的计算精度（业内AI芯片的通用精度），只能运行定点量化模型。从训练出的浮点模型转为定点模型的过程，我们叫做量化，依据是否要对量化后的参数进行调整，我们可以将量化方法分为QAT（Quantification Aware Training）量化感知训练和PTQ（Post-Training Quantization）训练后量化。
地平线X3芯片量化工具链主要使用的是训练后量化PTQ方法，只需使用一批校准数据对训练好的浮点模型进行校准, 将训练过的FP32网络直接转换为定点计算的网络，此过程中无需对原始浮点模型进行任何训练，只对几个超参数调整就可完成量化过程, 整个过程简单快速, 目前在端侧和云侧场景已得到广泛应用。 有关训练后量化PTQ方案的详细信息请阅读
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
