模型量化的原理与实践 —基于YOLOv5实践目标检测的PTQ与QAT量化

最新推荐文章于 2024-09-01 21:18:09 发布
最新推荐文章于 2024-09-01 21:18:09 发布
阅读量1k 收藏 2
点赞数 2
分类专栏： TensorRT-部署-加速 深度学习 文章标签： 目标检测 YOLO 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33287871/article/details/130210643
版权
本文详细介绍了模型量化的基础知识，包括定点数、量化原理和优缺点。针对YOLOv5目标检测模型，探讨了PTQ（训练后量化）和QAT（量化感知训练）的流程，分析了量化敏感层，并通过实践展示了量化对模型性能的影响。此外，还介绍了PyTorch-Quantization工具，以及如何在YOLOv5-n模型上进行量化校准和量化步骤。
摘要由CSDN通过智能技术生成

这里写自定义目录标题

一、量化基础知识

1.1 Tops是什么意思？

1TOPS代表处理器每秒可进行一万亿次（10^12）操作(int8)
在这里插入图片描述

在这里插入图片描述

1.2 什么是定点数？

大家都知道，数字既包括整数，又包括小数，如果想在计算机中，既能表示整数，也能表示小数，关键就在于这个小数点如何表示？
于是计算机科学家们想出一种方法，即约定计算机中小数点的位置，且这个位置固定不变，小数点前、后的数字，分别用二进制表示，然后组合起来就可以把这个数字在计算机中存储起来，这种表示方式叫做定点表示法，用这种方法表示的数字叫做定点数。
也就是说「定」是指固定的意思，「点」是指小数点，所以小数点位置固定的数即为定点数。
定点数的表示方式如下

了解本专栏 订阅专栏 解锁全文 超级会员免费看
yhwang-hub
关注
专栏目录
订阅专栏
yolov5的qat量化
qq_41920323的博客
11-08 693
主要讲解了一种qat量化的通用方案。
模型量化(6): 基于PTQ的yolov5量化完整代码讲解
@bangbang的博客
03-18 1616
（例如MobileNet），同时不同层对于精度的影响也比较大。基础上增加了PTQ量化的代码。的数据分布，找到合适的Scale，从而一定程度上。等量化算子来替换torch.nn对应的算子。（例如ResNet101），但是在。是目前常用的模型量化方法之一。baseline模型。
TensorRT模型量化实践
最新发布
保持分享欲
09-01 943
2. onnx导出为tensort engine时可以采用trtexec(注：命令行需加–int8，需要fp16和int8混合精度时，再添加–fp16)，比较简单；trtexec 有提供 --calib=接口进行校正，但需要对中间特征进行cache文件保存，比较麻烦，官方文档也是采用上述方式进行int8量化；1.导出onnx时，显存占用非常大；3.量化过程中发现，即使模型为动态输入，校正数据集使用时也必须与推理时的输入shape[N, C, H, W]完全一致，否则，效果非常非常差，动态模型慎用。
模型量化(7):Yolov5 QAT量化训练
@bangbang的博客
03-21 2765
从模型量化(5): 敏感层分析可以看出来，对于yolov5-nano模型，对最后一层detect层进行敏感层分析的时候,发现对检测精度的影响比较大。所以在PTQ/QAT在进行量化时，会跳过这些敏感层。QAT微调的模型，就是PTQ在校准后的模型。从上一小节可以看出如果PTQ中模型训练和量化是分开的，而QAT则是在模型训练时加入了伪量化节点，用于模拟模型量化时引起的误差。QAT过程中，我们首先需要选择哪些层需要进行finetune训练，并利用FP32对应层的输出作为监督进行训练。
2024软件学院创新项目实训--大模型量化
weixin_63647250的博客
06-17 944
量化技术背景：在领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生。由于我们的项目部署在云端，符合大模型量化的使用场景，因此我们要通过大模型量化来压缩模型的存储空间大小，优化存储空间、提高性能。LLM大模型的量化技术主要是通过对模型参数进行压缩和量化，从而降低模型的存储和计算复杂度。具体来说如下：1.参数压缩。
模型压缩与量化学习：实践案例分析
AI天才研究院
12-26 917
1.背景介绍 模型压缩与量化学习是人工智能领域中的重要研究方向，它旨在将大型模型压缩为更小的尺寸，以便在资源有限的设备上进行推理。同时，量化学习是一种用于优化模型参数的方法，它通过将模型参数从浮点数量化到整数数量化来减少模型大小和计算复杂度。在本文中，我们将详细介绍模型压缩和量化学习的核心概念、算法原理和实践案例，并探讨其未来发展趋势和挑战。 2.核心概念与联系 2.1 模型压缩 模型压缩...
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
量化加速-使用Pytorch-quantization对YOLOv8目标检测算法进行量化加速-模型小型化-附项目源码优质项目实战
05-08
通过这样的实战项目，开发者不仅可以掌握YOLOv8目标检测模型的工作原理，还能深入了解PyTorch-Quantization的用法，为未来在实际项目中实现模型的量化和优化打下坚实基础。同时，这也是一个优质的项目实例，适合学习...
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化...
yolov8 PTQ和QAT量化实战(源码详解)
@bangbang的博客
01-07 2787
量化（）：是指将高精度浮点数(FP32)转换为低精度(8bit或4bit)整数的过程，它是模型部署中的一种非常重要的优化方法，可以在较少的精度损失下，大幅提供神经网络的效率和性能。目前主流的神经网络量化方式有PTQ和QATPTQ是训练后量化()，无需数据集和训练，直接量化模型权重QAT是量化感知训练()，量化后需要在数据集上继续微调训练。QAT过程中，我们首先需要选择哪些层需要进行finetune训练，并利用FP32对应层的输出作为监督进行训练。
yolov8量化部署（基于openvino和tensorrt）
06-11
包括C++和python的所有源代码、模型文件、推理用的图片和视频资源文件。 对应文章https://blog.csdn.net/taifyang/article/details/131158445。
PTQ配置过程(Unity平台).pdf
10-02
PTQ配置过程(Unity平台).pdf
YOLOV5 PTQ，QAT量化源码
07-27
YOLOV5 PTQ，QAT量化源码
yolov5模型PTQ与QAT量化代码详解
资源摘要信息:"本资源包含了基于yolov5深度学习模型的量化处理的相关代码脚本，涵盖了后训练量化（PTQ）以及训练中量化（QAT）两种主要的模型量化方法。量化是一种优化深度学习模型的技术，目的是减少模型大小并提高...
yolov5量化注意事项（二）
deep_love1314的博客
12-02 1968
yolov5量化注意事项（二）
手把手教你用YOLOv5训练自己的数据集（从Windows环境配置到模型部署）
热门推荐
梁瑛平的博客
12-04 5万+
【小白CV】手把手教你用YOLOv5训练自己的数据集（从环境配置到模型部署）前言：1. 安装Anaconda：2. 创建虚拟环境：3. 安装pytorch：4. 下载源码和安装依赖库：5. 数据标注：5. 数据预处理：6. 下载预训练模型： 前言： 今天有时间，就写一下用yolov5训练自己数据集的博客吧。 1. 安装Anaconda： Anaconda官网：https://www.anaconda.com/ 下载完成后打开一路Yes即可，只需要注意这里要将conda添加到PATH： 安装完成后打
YOLOv5-QAT量化部署
周同学的博客
10-15 5650
YOLOv5-QAT量化部署
yolov5+pyqt目标检测系统
GrittingLEO的博客
12-30 4466
基于yolov5+pyqt的目标检测系统，识别了2022卡塔尔世界杯阿根廷与法国的球员
ad导出cad显示没有注册类
08-08
"ad导出cad显示没有注册类"这个问题，是指在AutoCAD软件中使用AD命令导入或转换AutoCAD图纸的过程中出现了无法注册类的错误提示。 出现这个问题的原因可能有以下几种情况： 1. AutoCAD版本不兼容：AD命令可能来自于AutoCAD的不同版本，并且与当前使用的AutoCAD版本不兼容。解决方法是检查AD命令的版本并尝试在相应的AutoCAD版本中运行。 2. 未正确加载AD插件：有时，AD命令需要特定的插件或扩展来正确运行。在这种情况下，需要加载并注册相应的AD插件。可以通过在AutoCAD中运行命令"NETLOAD"来加载插件，然后使用"REGISTER"命令来注册插件。 3. 安装错误或文件缺失：有可能在安装过程中出现了错误，或者相关的AD文件丢失。要解决这个问题，需要重新安装AD命令或修复已安装的AutoCAD软件。 4. 缺乏必要的环境变量：AD命令可能需要特定的环境变量设置才能正常运行。您可以检查AutoCAD配置文件中的环境变量设置，并根据需要进行修改。 在解决这个问题之前，建议您进行以下操作： 1. 确保AutoCAD软件已经更新到最新版本，并且与AD命令的版本兼容。 2. 检查AD命令的文档或官方网站，查看是否有特殊的安装要求或建议。 3. 在网络或AutoCAD社区中搜索类似的问题，看看其他用户是如何解决的。 总之，要解决"ad导出cad显示没有注册类"的问题，您可以尝试调整AutoCAD版本兼容性、加载和注册插件、重新安装AutoCAD软件、修改环境变量设置等方法。如果问题仍然存在，建议您联系AutoCAD的技术支持部门或寻求专业的AutoCAD咨询和帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhwang-hub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值