【论文分享】A White Paper on Neural Network Quantization【3】PTQ部分

已于 2022-09-16 11:51:14 修改
阅读量1.5k 收藏
点赞数
分类专栏： 论文阅读 深度学习模型压缩 文章标签： 机器学习 深度学习 算法
于 2022-09-16 11:36:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43800119/article/details/125485064
版权
本文深入探讨了神经网络的训练后量化（PTQ）技术，包括量化范围设置的不同方法，如Min-max、MSE和Cross entropy，以及Cross-Layer Equalization、Bias correction和AdaRound等优化策略。实验表明，这些方法在减少量化误差和提高模型性能方面具有显著效果，特别是在低比特量化中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文目录

本文大部分是翻译，就算是翻译读下来也很吃力，建议粗读。我自己会更关注💡部分，可以细读一下。

3. PTQ训练后量化（离线量化）

训练后量化算法将预先训练好的FP32网络直接转换成定点网络，不需要原始训练pipeline。
离线量化可以是无数据的，或者可能需要一个现成的小校准集。几乎不需要超参数调优，可以直接用单独的API作为黑盒方法，以计算效率高的方式量化预训练的神经网络，让神经网络量化更广泛的应用。

PTQ过程中的一个基本步骤是为每个量化器找到良好的量化范围。 在2.2节中简要讨论了量化范围的选择如何影响量化误差。在本节有如下几个内容：

  • 首先，讨论在实践中用于寻找好的量化参数的各种常用方法。
  • 然后，探讨在PTQ期间观察到的常见问题，并介绍克服这些问题的最成功的技术。使用这些技术，提出了一个标准的训练后量化pipeline，发现它在大多数常见场景中工作得最好。
  • 最后，引入了一组调试步骤，以提高量化模型的性能。

3.1 设置量化范围

在网络量化过程中，变量

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文分享】A White Paper on Neural Network Quantization【1，2】引言和基础知识
zoetu
06-27 955
A White Paper on Neural Network Quantization【1，2】引言和基础知识
【论文分享】A White Paper on Neural Network Quantization【4、5】QAT部分和总结讨论
zoetu
09-16 1568
A White Paper on Neural Network Quantization【4、5】QAT部分和总结讨论
2024年下半年计算机软件资格考试模拟练习系统
10-29
模拟练习平台旨在让考生熟悉计算机化考试环境和作答方式，不涉及考试题型、题量、分值等考试内容，以上内容以正式考试答题系统为准。 点击下方按钮进行下载，下载后解压缩，直接运行exe文件即可。模拟作答系统仅支持Windows操作系统下运行，该系统使用本地输入法。 了解考试大纲和考试用书等更多信息，请登陆中国计算机技术职业资格网（https://www.ruankao.org.cn/）
【1】谷歌2021模型量化白皮书《A White Paper on Neural Network Quantization》
热门推荐
Just_do_myself的博客
04-23 1万+
2021 Google模型量化白皮书
A White Paper on Neural Network Quantization-2106.08295
09-03
A White Paper on Neural Network Quantization-2106.08295 MQBench Towards Reproducible and Deployable INTEGER QUANTIZATION FOR DEEP LEARNING INFERENCE PRINCIPLES AND EMPIRICAL EVALUATION-2004.09602 Quantizing deep convolutional networks for-1806.08342Quantizing deep convolutional networks for-1806.08342Quantizing deep convolutional networks for-1806.08342Quantizing deep convolutional networks for-1806.08342Quantizing deep convolutional networks for-1806.08342
A White Paper on Neural Network Quantization--阅读笔记1
hanshanbuleng的博客
12-20 1008
模型量化
Quantization｜A White Paper on Neural Network Quantization (谷歌量化白皮书)
weixin_44935658的博客
06-17 1669
记一下谷歌量化白皮书的理解。按原文目录分
《A White Paper on Neural Network Quantization》翻译总结
wangc_111的博客
03-17 423
这部分内容主要探索量化的硬件背景以及如何让推理在设备上跑起来。图1展示了神经网络中矩阵向量乘法yWxb的计算示意图，这是矩阵乘法和卷积的一个基础组件，主要通过尽可能多的计算并行来提高NN推理的效率。该神经网络加速器的两个基本组件分别是：processing elements(Cnm​)和accumulators(An​An​bn​m∑​Cnm​其中Cnm​Wnm​xm​Wnm​为权重值，xm​为输入数据，bn。
动手学AIMET(2)- 白皮书量化基础简读
zwenhao000的博客
05-23 1027
高通发布了一份AIMET的白皮书。 [2106.08295] A White Paper on Neural Network Quantization (arxiv.org)https://arxiv.org/abs/2106.08295 这份白皮书介绍了AIMET中所有的量化知识和使用方法： 模型量化原理的解释； PTQ和QAT的使用流程； 如何调试量化模型。 这里简单摘录第一章AIME简介和第二章量化基础部分。 第1章：介绍 随着深度学习为电子设备注入智能越来越
A White Paper on Neural Network Quantization
qq_60498436的博客
03-11 1128
这篇文章《神经网络量化白皮书》主要讨论了神经网络量化在提高现代网络计算效率方面的重要作用，特别是对于具有严格功耗和计算限制的边缘设备。文章深入讨论了如何在保持低比特权重和激活的同时，减轻量化噪声对性能的影响的方法。首先，文章从硬件角度介绍了量化的基本概念，然后分别讨论了两种主要的量化方法：训练后量化（Post-Training Quantization, PTQ）和量化感知训练（Quantization-Aware Training, QAT）。PTQ方法无需重新训练或标记数据，是一种轻量级的量化方法。
软考软件 内置试卷 模拟作答系统 软考练习版.zip
10-20
模拟作答系统 1.模拟作答系统是旨在让考生熟悉计算机化考试环境和作答方式，考试题型、题量、分值、界面及文字内容以正式考试答题系统为准，为各级别、各资格涉及输入和页面显示的部分题型提供体验性练习。 2.模拟作答系统账号密码登录界面样式可能与正式考试有所不同。 3.正式考试系统采取科目联考，分批次考试的方式。联考第一个科目作答结束交卷完成后自动进入第二个科目，第一个科目节余的时长可为第二个科目使用。各资格批次和时间安排随后通告。 4.点击下方按钮进行下载，下载后解压缩，直接运行exe文件即可。模拟作答系统仅支持Windows操作系统下运行，该系统使用本地输入法。
网络工程师_22应用技术_网工应用技术_电子题库包_20231017174459.PTQPAPER
10-30
网络工程师_22应用技术_网工应用技术_电子题库包_20231017174459.PTQPAPER
2024软考机考模拟器
05-13
1、模拟作答系统是旨在让考生熟悉计算机化考试环境和作答方式，考试题型、题量、分值、界面及文字内容以正式考试答题系统为准，为各级别、各资格涉及输入和页面显示的部分题型提供体验性练习。 2、可练习画图、案例分析、论文等内容。 3、下载后解压缩，直接运行exe文件即可。模拟作答系统仅支持Windows操作系统下运行，该系统使用本地输入法。
在线预览完整实现.zip
08-16
基本思路::使用pdf.js实现在线预览pdf功能。将office(doc,execel),txt,png,jpeg等常见的格式在web端进行转换。 起初使用apose这个包，在Linux下中文字体显示为空格。这个网上有好多解决方案。但是由于内网环境，无法下载fc-list命令，放弃使用这个包。改成使用XDocService.jar这个包，简单看一下源码可知这个转换是放在xdoc服务器上进行的解析。如果条件允许，建议自己搭建一套解析系统，最好操作系统使用Windows。由于资源紧张，所以目前的方案使用的xdoc服务器进行的解析。能够将office(doc,execel),txt,png,jpeg等常见的格式转化为pdf，这个转化的功能还是很强大的。（帮xdoc做了一波广告）。不过话说回来，xdoc解析txt文件是会自带广告，这个怎么去掉，通过分析源码，修改pipe函数，过滤掉相关的广告字段就ok了。 Android中可以集成腾讯的x5内核。
2024软考机考模拟器安装包
最新发布
11-01
2024软考机考模拟器安装包 1、模拟作答系统是旨在让考生熟悉计算机化考试环境和作答方式，考试题型、题量、分值、界面及文字内容以正式考试答题系统为准，为各级别、各资格涉及输入和页面显示的部分题型提供体验性练习。 2、可练习画图、案例分析、论文等内容。 3、下载后解压缩，直接运行exe文件即可。模拟作答系统仅支持Windows操作系统下运行，该系统使用本地输入法。
深度学习网络量化白皮书论文学习
性感的小君君
10-11 1271
卷积神经网络量化相关知识总结
模型量化（二）—— 训练后量化PTQ（全代码）
全栈O-Jay的博客
03-13 9798
训练后量化（Post-training Quantization，PTQ）是一种常见的模型量化技术，它在模型训练完成之后应用，旨在减少模型的大小和提高推理速度，同时尽量保持模型的性能。训练后量化对于部署到资源受限的设备上，如移动设备和嵌入式设备，特别有用。
最近很火的在线文件预览txt、doc、ppt、pdf、excel、jpg、png、zip、tar.gz等各种文件及压缩文件在线解压和预览，包括前后端设计和源码，编写搜索引擎多关键词检索名称和内容（三）
代码讲故事
01-05 895
最近很火的在线文件预览txt、doc、ppt、pdf、excel、jpg、mp4、png、zip、tar.gz等各种文件及压缩文件在线解压和预览，包括前后端设计和源码，编写一个文件搜索引擎实现多关键词检索，标记文件名称和文件内容内容（三）。
全国计算机考试准考证压缩包密码
weixin_63757008的博客
12-17 739
压缩包密码就是将文件内容压缩后通过算法加密，密码作为密钥。 加密算法通常用aes或zipcrypto。解密时验证密码是否正确则通过加密前内容的哈希来校验。 哈希算法简单来说是对于一段任意长度的内容生成一段固定长度的字符串，尽可能使内容不同时生 成的字符串不同，同时无法通过字符串还原原来的内容。因此如果密钥正确，解密成功后的内容的 哈希字符串应该跟加密前的内容的哈希字符串相同。压缩包格式(后缀名)跟加密算法和原理关系不 大。 C站（CSDN）能力认证中心 ...
subsasgn Assign fields of a neural network.
07-20
In MATLAB, you can assign fields of a neural network using the `subsasgn` function. The `subsasgn` function allows you to modify or assign values to specific fields of an object, such as a neural network. Here's an example of how you can use `subsasgn` to assign fields of a neural network: ```matlab net = feedforwardnet([10 5]); % Create a feedforward neural network % Assign a new value to the 'trainFcn' field of the network newTrainFcn = 'trainlm'; net = subsasgn(net, struct('type', '.', 'subs', 'trainFcn'), newTrainFcn); % Assign a new value to the 'layers' field of the network newLayers = [15 7]; net = subsasgn(net, struct('type', '.', 'subs', 'layers'), newLayers); ``` In the above example, we first create a feedforward neural network `net` using the `feedforwardnet` function. Then, we use `subsasgn` to assign a new value to the `'trainFcn'` field and the `'layers'` field of the network. Note that in the `subsasgn` function, we use a structure with fields `'type'`, `'subs'`, and the new value to specify the assignment operation. The `'type'` field is set to `'.'` to indicate that we are accessing a field of the object, and the `'subs'` field specifies the name of the field we want to assign. You can adapt this example to assign other fields of a neural network based on your specific requirements.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zoetu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值