模型量化3-量化类型4：Pre-channel量化和pre-tensor量化（从量化粒度来分）【权重通常采取Pre-channel量化，激活值通常采取pre-tensor量化】

最新推荐文章于 2024-07-17 21:40:42 发布
最新推荐文章于 2024-07-17 21:40:42 发布
阅读量93 收藏
点赞数 2
分类专栏： AI/模型量化 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/139889085
版权
u013250861
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pytorch每日一学24(torch.quantize_per_tensor()、torch.quantize_per_channel())使用映射过程将tensor进行量化
Fluid_ray的博客
11-21 5469
第24个方法 torch.quantize_per_tensor(input, scale, zero_point, dtype) → Tensor torch.quantize_per_channel(input, scales, zero_points, axis, dtype) → Tensor 以上两个方法是将将浮点张量转换为具有给定比例和零点的量化张量。 Quantization（量化）介绍   量化是指用于执行计算并以低于浮点精度的位宽存储张量的技术。量化模型对张量使用整数而不是浮点值
神经网络量化--per-channel量化
AI小男孩的专栏
03-18 5822
神经网络量化入门系列第八篇：per-channel量化
量化粒度是什么？？？
qq_40280673的博客
02-21 441
量化粒度的选择会影响模型的精度、性能和资源占用。一般来说，如果对精度要求较高，可以考虑使用 per-tensor 量化或 per-channel 量化；如果对性能要求较高，可以考虑使用 per-layer 量化。
模型量化基础概念温习
weixin_42638415的博客
08-23 2060
min-max对于离群值敏感，效果差，其他校准的策略来说，相对简单效果更好的有：KL散度（KL divergence）：最小化量化后int8与float32数据的KL散度，tensorrt采用这个策略。这个敏感度判别采用最直接简单的方法：每次只量化一层跑一遍，看模型效果的影响，影响大的就更敏感，反之就不敏感。为了保证一致性，我们需要在激活之后再进行量化，并且可以使用激活融合的方式。简单节省内存，虽然现在每个通道的权重量化越来越普遍，但并不是所有的商业硬件都是支持的，因此，重要的是需要检查硬件设备是否支持。
神经网络模型量化（Quantization）
alibote的博客
04-01 630
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、什么是量化（Quantization）？二、有哪些量化方法？1.后量化（Post Traning Quantization）2.前量化/量化感知训练（Pre Quantization/）3.混合精度（Mixed precision）4.外部量化（External quant
深度学习模型部署TensorRT加速（十）：TensorRT部署分析与优化方案（一）
chenhaogu的博客
09-15 1981
模型推理性能分析：使用工具如TensorRT Profiler、PyTorch Profiler、TensorFlow Profiler等，可以对模型的推理性能进行详细分析，包括推理时间、内存占用、吞吐量等指标。这些工具可以帮助确定模型中的瓶颈，进而优化模型和系统配置。经过上述学习，已经掌握了tensorrt的优化方案以及优化指标。可以针对性地对模型采取不同的优化方案进行改进，下章将介绍如何利用tensorrt提供的API进行性能数据和改进部署方案！！！！
Pytorch模型量化
热门推荐
凌逆战的博客
10-25 1万+
在深度学习中，量化指的是使用更少的bit来存储原本以浮点数存储的tensor，以及使用更少的bit来完成原本以浮点数完成的计算。这么做的好处主要有如下几点： 更少的模型体积，接近4倍的减少； 可以更快的计算，由于更少的内存访问和更快的int8计算，可以快2~4倍。 一个量化后的模型，其部分或者全部的tensor操作会使用int类型来计算，而不是使用量化之前的float类型。当然，量化还需要底...
pytorch量化感知训练（QAT）示例---ResNet
02-19
1. 训练浮点模型，测试浮点模式在CPU和GPU上的时间; 2. BN层融合，测试融合前后精度和结果...3. 加入torch的量化感知API，训练一个QAT模型; 4. 保存定点INT8模型, 测试速度和精度; 5. 完成一致性对其，并保存int8模型。
tensor-house:用于企业运营的参考机器学习和优化模型的集合
04-29
关于TensorHouse是针对企业运营的参考机器学习和优化模型的集合：营销，定价，供应链等。 该项目的目标是为工业，研究和教育目的提供基准实施。 该项目着重于模型，技术和数据集，这些模型，技术和数据集最初是由...
awesome-tensor-compilers：一系列很棒的用于张量计算和深度学习的编译器项目和论文
01-31
总结来说，"awesome-tensor-compilers" 提供了一个宝贵的资源库，帮助开发者和研究人员了解和利用各种编译器工具，以优化深度学习模型的性能，推动AI技术的进步。从自动化的代码生成到高效的并行计算，这些编译器...
Tensor Ensemble of Ground-Based Cloud Sequences: Its Modeling, Classification, and Synthesis
02-09
Since clouds are one of the most important meteorological phenomena related to the hydrological cycle and affect Earth radiation balance and climate changes, cloud analysis is a crucial issue in ...
tensorly-notebooks:使用TensorLy的Python中的Tensor方法
05-25
使用TensorLy的Python中的Tensor方法该存储库包含一系列有关张量学习的...目录1-张量基础2-张量分解塔克分解 3-张量回归低秩张量回归 4-Tensor方法和MXNet后端的深度学习通过梯度下降的塔克分解张量回归网络 5-使用PyT
网络模型int8量化中使用的一些量化方法
m_buddy的博客
12-21 4984
1. 概述 前言：这篇博客中涉及到的是网络在做int8 infer时候涉及到的量化方法，这里并不涉及到int8训练的东西，这篇文章涉及到的量化方法主要来自于：Quantizing deep convolutional networks for efficient inference: A whitepaper。 深度学习中网络的加速主要有如下的几种方式： 1）设计高效且小的网络，如Mobil...
PyTorch模型量化工具学习
jacke121的专栏
05-17 4182
官方教程(英文)： https://pytorch.org/docs/stable/quantization.html​pytorch.org 官方教程(中文)： https://pytorch.apachecn.org/docs/1.4/88.html​pytorch.apachecn.org 目前很多高精度的深度学习模型所需内存、计算量和能耗巨大，并不适合部署在一些低成本的嵌入式设备中，为了解决这个矛盾，模型压缩技术应运而生，其主要是通过减少原始模型参数的数量或比特数来实现对内存和计..
深度学习模型量化基础
LuchangLi 的专栏
11-30 7312
深度学习模型量化基础
极智AI | 量化实现分享一：详解 min-max 对称量化算法实现
极智视界
12-15 3138
大家好，我是极智视界，本文剖析一下 min-max 对称量化算法实现，以 Tengine 的实现为例。
OpenSNN推文：近期优质博客推荐汇总
opensnn的博客
07-12 395
国内个人博客站点众多，涵盖了技术、生活、艺术等多个领域。
2024Datawhale AI夏令营---基于术语词典干预的机器翻译挑战赛--学习笔记
weixin_61573157的博客
07-15 1051
机器翻译（Machine Translation，简称MT）是自然语言处理领域的一个重要分支，其目标是将一种语言的文本自动转换为另一种语言的文本。机器翻译的发展可以追溯到20世纪50年代，经历了从基于规则的方法、统计方法到深度学习方法的演变过程。当前，机器翻译正朝着更加智能化和个性化方向发展。一方面，结合上下文理解、情感分析等技术，提高翻译的准确性和自然度；另一方面，通过用户反馈和个性化学习，提供更加符合用户需求的翻译服务。同时，跨语言信息检索、多模态翻译等新兴领域也正在成为研究热点。
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
最新发布
wwt72的博客
07-17 505
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
<channel name="xfce4-session" version="1.0"> <property name="general" type="empty"> <property name="FailsafeSessionName" type="empty"/> <property name="LockCommand" type="empty"/> <property name="SessionName" type="string" value="Default"/> <property name="SaveOnExit" type="bool" value="true"/> </property> <property name="sessions" type="empty"> <property name="Failsafe" type="empty"> <property name="IsFailsafe" type="empty"/> <property name="Count" type="empty"/> <property name="Client0_Command" type="empty"/> <property name="Client0_Priority" type="empty"/> <property name="Client0_PerScreen" type="empty"/> <property name="Client1_Command" type="empty"/> <property name="Client1_Priority" type="empty"/> <property name="Client1_PerScreen" type="empty"/> <property name="Client2_Command" type="empty"/> <property name="Client2_Priority" type="empty"/> <property name="Client2_PerScreen" type="empty"/> <property name="Client3_Command" type="empty"/> <property name="Client3_Priority" type="empty"/> <property name="Client3_PerScreen" type="empty"/> <property name="Client4_Command" type="empty"/> <property name="Client4_Priority" type="empty"/> <property name="Client4_PerScreen" type="empty"/> </property> </property> </channel> 没有shudown 有没有其他有效的可行的，通用的方式，你还有一次机会
07-14
非常抱歉，根据你提供的xfce4-session.xml配置文件内容，确实没有找到与"shutdown"相关的配置项。给你带来困扰，非常抱歉。 虽然没有找到通用的方式来禁用xfce4右键菜单中的"Log Out"选项，但你可以尝试使用以下方法来解决该问题： 1. 打开终端，并输入以下命令创建一个新的配置文件： ``` mkdir -p ~/.config/xfce4/xfconf/xfce-perchannel-xml/ touch ~/.config/xfce4/xfconf/xfce-perchannel-xml/xfce4-panel.xml ``` 2. 使用文本编辑器（如nano或vim）编辑新创建的xfce4-panel.xml文件： ``` nano ~/.config/xfce4/xfconf/xfce-perchannel-xml/xfce4-panel.xml ``` 3. 在打开的文件中，添加以下内容： ```xml <?xml version="1.0" encoding="UTF-8"?> <channel name="xfce4-panel" version="1.0"> <property name="global" type="empty"> <property name="disable-custom-menu" type="bool" value="true"/> </property> </channel> ``` 4. 保存并关闭文件。在nano编辑器中，按下Ctrl + X，然后输入"Y"确认保存，最后按下Enter键退出。 5. 重新启动xfce4面板，可以使用以下命令或注销并重新登录： ``` xfce4-panel --restart ``` 现在，右键菜单中的"Log Out"选项应该已经被禁用了。 请注意，这种方法禁用了整个面板的自定义菜单，因此可能会影响其他自定义菜单项。如果你只想禁用"Log Out"选项而保留其他自定义菜单功能，可能需要进一步的配置和调整。 希望这次能帮到你！如果还有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值