![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 95
智障学AI
一起学习检测,分割,CUDA,TensorRT, 量化
展开
-
ResNet分类器量化
下面先定义一个直方图校准的int8量化,然后对输入全部进行量化定义模型对模型插入qdq统计qdq节点的range 和 scale做敏感词分析导出一个qdq节点的ptq对模型进行finetune ----> qat。原创 2023-10-11 17:23:01 · 290 阅读 · 0 评论 -
量化初探: 对称量化以及非对称量化
量化(Quantization)是指将高精度浮点数表示为低精度整数的过程,从而提高神经网络的效率和性能。减小内存占用模型大小减少:通过量化,我们可以将32位浮点数转换为较低位宽的数(例如8位整数)。这可以显著减少模型的大小,使其更容易在内存受限的设备上部署。减少带宽需求:模型大小的减少也意味着在下载或传输模型时需要的带宽减少。加速计算特定硬件加速:很多硬件(例如Jetson)对低位宽的操作更有优势,因此量化模型可以更好地利用这些硬件特性。并行化:低位运算可以允许更高的并行度,从而进一步加速计算。原创 2023-10-10 20:57:26 · 948 阅读 · 0 评论 -
1. CUDA中的grid和block
/ 确保内核完成后才继续执行主机代码 }原创 2023-08-03 21:35:44 · 1715 阅读 · 0 评论