模型量化(7):Yolov5 QAT量化训练

已于 2023-12-28 20:55:37 修改
阅读量3.4k 收藏 15
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 模型轻量化 文章标签： YOLO 深度学习 人工智能
于 2023-03-21 22:05:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/129654443
本文介绍了模型量化中的QAT（量化感知训练）方法，特别是在YOLOv5-nano模型上的应用。QAT首先在FP32精度下训练模型，然后插入伪量化节点，进行量化感知训练，以提升量化后的模型精度。相比于PTQ，QAT能更好地保持模型性能，但需要额外的训练步骤。文章详细阐述了QAT的流程、精度提升、与PTQ的优缺点对比，并提供了环境安装和代码实现的指导。

文章目录

1. QAT介绍

从 模型量化(5): 敏感层分析可以看出来，对于yolov5-nano模型，对最后一层detect层进行敏感层分析的时候,发现对检测精度的影响比较大。所以在PTQ/QAT在进行量化时，会跳过这些敏感层。

QAT微调的模型，就是PTQ在校准后的模型。从上一小节可以看出如果PTQ中模型训练和量化是分开的，而QAT则是在模型训练时加入了伪量化节点，用于模拟模型量化时引起的误差。

1.1 QAT处理流程

    1. 首先在数据集上以FP32精度进行模型训练，得到训练好的baseline模型；
    1. 在baseline模型中插入伪量化节点，
    1. 进行PTQ得到PTQ后的模型；
    <
了解本专栏 订阅专栏 解锁全文 超级会员免费看
yolov5的qat量化
qq_41920323的博客
11-08 1052
主要讲解了一种qat量化的通用方案。
yolov5量化注意事项（二）
deep_love1314的博客
12-02 2161
yolov5量化注意事项（二）
yolov5-5,QAT训练代码，并转为onnx运行
yhtao923的博客
01-01 892
基于yolov5-5的QAT训练与检测
一.Yolov8量化感知训练微调(QAT)第一篇:QAT原理和微调训练流程
boboly186的博客
09-23 1193
量化感知训练（QAT）是一种先进技术，它弥合了高精度浮点模型与适用于资源受限硬件部署的高效低精度整数模型之间的差距。在原先检测模型背景下，QAT使模型能够保持其检测精度，同时通过TensorRT优化显著提高推理性能。量化是将模型权重和激活值从高精度（通常是32位浮点）转换为低精度（如8位整数）的过程。减少内存占用：INT8模型所需的内存比FP32模型少约4倍更快推理：在大多数硬件上，整数运算的计算成本更低且速度更快能源效率：低精度计算消耗更少的电量，使其成为移动设备和边缘设备的理想选择。
模型量化
qq_44089890的博客
04-07 1226
模型量化是指将深度学习模型中的浮点数参数和计算操作转换为定点数参数和计算操作的过程。模型量化可以减小模型的存储空间和计算量，提高模型在移动设备和嵌入式系统上的部署效率。在模型量化中，浮点数参数和计算操作被转换为定点数参数和计算操作。定点数通常采用8位整数或16位整数表示，可以使用卷积、矩阵乘法等计算操作进行模型推理。模型量化的过程通常包括以下几个步骤：选择量化方法，包括权重量化、激活量化、全精度量化、混合精度量化等。确定量化参数，包括量化位数、缩放因子、偏置等。
YOLOv5-QAT量化部署
周同学的博客
10-15 9076
YOLOv5-QAT量化部署
yoloV5模型训练教程并进行量化
左手coding，右手cooking
06-11 8142
yoloV5模型训练教程 数据标注 数据标注我们要用labelimg pip install labelimg 百度爬虫爬取图像 import os import re import sys import urllib import json import socket import urllib.request import urllib.parse import urllib.error # 设置超时 from random import randint import time timeout =
深度学习模型优化实战：YOLOv10模型蒸馏与量化技术详解及UI界面实现
YOLO
07-06 383
YOLOv10在之前版本的基础上进行了多项创新，主要包括：python复制下载"""标准卷积块：Conv + BN + SiLU""""""YOLOv10中的核心模块，相比C3有更好的特征提取能力"""
yolov7 ptq和qat训练及tensorrt部署
09-16
总结起来，"yolov7 ptq和qat训练及tensorrt部署"涉及的关键知识点包括： - YOLOv7目标检测模型 - PTQ（Post-Training Quantization）和QAT（Quantization-Aware Training）两种模型量化技术 - TensorRT的使用，包括...
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
工业级部署实战：YOLOv5 QAT量化教程，实现精度无损的显著加速
最新发布
m0_71589036的博客
11-10 14
从量化感知训练的原理，到YOLOv5的实战部署，我们完成了一次“精度与速度”的平衡术。当你看到自己的YOLOv5模型在边缘设备上实现实时检测，并且精度几乎无损时，就会明白QAT技术的价值——它不是复杂的理论游戏，而是能让你的目标检测应用从“概念”变成“产品”的关键跳板。如果你在实战中遇到任何问题，比如量化后检测框偏移、TensorRT推理结果异常，都可以随时交流——我很乐意帮你一起把YOLOv5的量化部署这件事彻底搞定，让你的检测项目真正“跑”起来、“用”起来、“赢”起来。
YOLOv5模型量化训练实战教程
weixin_51988935的博客
07-23 498
本文详细介绍了YOLOv5模型量化训练实战方法，重点讲解如何利用SparseML进行量化感知训练(QAT)。内容包括量化原理、SparseML量化机制与recipe参数配置、量化训练命令实操、源码解读、模型评估与推理加速技巧，以及常见问题排查。教程提供了纯量化和剪枝+量化联合两种训练方案，通过YAML文件定义量化策略，并给出具体训练命令示例。同时介绍了量化后模型的导出与DeepSparse推理优化方法，最后总结了精度下降等常见问题的解决方案。
yolov5量化
zhangxue1232的博客
11-16 6246
yolov3-tiny（yolov3）训练自己的数据集（一）：DarkNet + Ubuntu16.04 + GPU + OpenCV3.4.0 配置篇_y459541195的博客-CSDN博客 接着安装一些依赖库第二个出问题了 解决方法： Ubuntu18.04下安装OpenCv依赖包libjasper-dev无法安装的问题_SDUHXP的博客-CSDN博客 到install出问题了，install文件夹下是空的 ncnn之二：Linux环境下ncnn安装...
YOLOv5量化调优
算能开发者社区是一个为开发者提供信息传播、开发交流、技术分享的交流空间。
11-15 4752
YOLOv5量化调优经验
YOLOv5模型压缩：量化感知训练（QAT）全攻略
gitblog_00460的博客
09-06 455
你是否遇到过这样的困境：训练好的YOLOv5模型在GPU上表现优异，但部署到边缘设备（如嵌入式系统、手机或FPGA）时，却因模型体积过大（通常超过100MB）、推理速度缓慢（帧率不足10FPS）而无法满足实时性要求？在工业质检、智能监控、自动驾驶等边缘计算场景中，模型的大小和速度直接决定了方案的可行性。 本文将系统讲解**量化感知训练（Quantization-Aware Training, Q...
YOLOv5训练量化压缩
jacke121的专栏
05-25 3676
YOLOv5并量化压缩 下载源码和安装依赖库： 源码地址：https://github.com/ultralytics/yolov5 下载后解压，在目录内打开cmd并激活环境： 安装依赖库： pip install -r requirements.txt 5. 数据标注： 数据标注我们要用labelimg，使用pip即可安装： pip install labelimg 数据预处理： 创建 convert_data.py 文件，内容如下： # -*- coding: utf-8 -.
模型量化(6): 基于PTQ的yolov5量化完整代码讲解
@bangbang的博客
03-18 2066
（例如MobileNet），同时不同层对于精度的影响也比较大。基础上增加了PTQ量化的代码。的数据分布，找到合适的Scale，从而一定程度上。等量化算子来替换torch.nn对应的算子。（例如ResNet101），但是在。是目前常用的模型量化方法之一。baseline模型。
芒果YOLOv5改进28：主干Backbone篇之QARepNeXt：基于最新 QARepVGG 结构，美团提出的一种量化感知方法：再一次让 RepVGG 变得更好
包括YOLOv5、YOLOv7、YOLOv8等模型改进
01-10 2844
YOLOv5代码实践｜基于最新 QARepVGG 结构， 原创提出改进 QARepNeXt 结构，再一次让 RepVGG 变得更好
yolov5的pqt、qat量化---1（知识准备工作）
qq_41920323的博客
10-29 868
讲解yolov5的ptq和qat量化过程，共两篇文章，此为第一篇，所用知识讲解
yolov5 qat量化感知训练
07-21
Yolov5 QAT（Quantization-Aware Training）是一种量化感知训练的技术，用于将深度学习模型量化为低精度表示，以减少模型的存储空间和计算需求，同时保持模型在推理阶段的准确性。在Yolov5中，QAT可以应用于训练过程中，以便更好地适应量化后的推理。 量化感知训练的基本思想是在训练过程中模拟量化操作，并通过添加训练过程中的损失来约束模型的量化行为。具体而言，在QAT中，模型的权重和激活值被表示为低比特位数（如8位）的定点数，而不是传统的浮点数。这样做可以大幅减少模型所需的存储和计算资源。 量化感知训练可以通过以下步骤来实现： 1. 定义量化策略：确定权重和激活值的量化位数，以及量化时采用的量化方法（如线性量化或对称量化）。 2. 量化仿真：在训练过程中，在权重和激活值上应用量化操作，将它们转换为低比特位数的定点数。这可以通过将浮点数四舍五入到最接近的定点数来实现。 3. 计算量化损失：在模型的前向传播过程中，通过添加量化损失来约束量化后的模型与原始浮点模型之间的差异。量化损失可以使用各种度量方法来计算，如均方根误差（RMSE）或KL散度。 4. 反向传播和参数更新：通过反向传播计算梯度并更新模型的参数，以最小化总体损失，包括量化损失和传统的分类或回归损失。 通过这些步骤，量化感知训练可以使模型在推理阶段保持较高的准确性，并显著减少模型的存储和计算需求。这对于在资源有限的设备上部署深度学习模型非常有用。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值