Pytorch 量化后权重参数导出

Pytorch 量化模型权重导出实践
最新推荐文章于 2025-07-07 09:58:35 发布
原创 最新推荐文章于 2025-07-07 09:58:35 发布 · 2.2k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #python #tensorflow

本文介绍如何在Pytorch中导出量化后的网络权重参数，特别是以int8整数形式，并讨论了权重导出过程中遇到的问题和解决方法，如偏置bias的量化处理。同时提到了相关Python库的使用，如pandas、numpy和openpyxl。尽管找到了直接导出权重的方法，但后续仍需将权重转换为二进制bin格式。文章最后为高考考生送上了祝福。

Pytorch 网络量化后权重等参数导出

Topic : 网络参数导出

时间 ：2022 / 6 / 07

写在最前：

在这篇文章中Pytorch 提取权重等参数 写入Excel ： 以为量化后只给出了相应层的s、z值，需要将网络中的参数导出进行再处理。

需要用到的Python库：

  • pytorch
  • pandas
  • numpy
  • openpyxl

今天才发现其实权重参数可以直接以int8整数形式导出如下图所示，不过后续仍然需要再转换为二进制bin。

(此处偏置bias仍然需要手动量化)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZLd6TE6g-1654611905443)(../../../../../../WindowsUsers/Admin/Documents/Typora/images/image-20220607222430399.png)]

是用到 t.int_repr().但是这边并没有查到关于这个函数的更多信息。这里仅作为使用。

最低0.47元/天 解锁文章
vivavivaa
关注
pytorch搭建卷积网络（以minist数据集为例）以及如何查看输出每层的权重和特征图
qq_40840797的博客
07-18 2246
# -*- coding: utf-8 -*- """ Created on Sun Jul 18 15:19:41 2021 @author: pony """ import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import torchvision.datasets as dsets import torchvision.transforms as transf.
pytorch 提取权重_pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法
weixin_42696271的博客
12-24 897
如下所示：#获取模型权重for k, v in model_2.state_dict().iteritems():print("Layer {}".format(k))print(v)#获取模型权重for layer in model_2.modules():if isinstance(layer, nn.Linear):print(layer.weight)#将一个模型权重载入另一个模型mode...
pytorhc模型权重导出 解析.npy文件 将数据按照指定格式打印到txt中
蜗牛在听雨的博客
11-05 1039
代码如下： import numpy as np input_data = np.load(r"mlp_6_weight.npy") print(input_data.shape) data = input_data.T #根据自己的需求确认是否要转置 print(data.shape) print(data) np.savetxt(r"mlp_6_weight.txt",data,fmt=['%.017f']*data.shape[1],delimiter=',',newline='},\n{')
Pytorch实现手写数字识别,导出权重参数,利用C语言实现推理(正向传播)过程
weixin_42464527的博客
03-23 4814
前言 关键词:FPGA,卷积神经网络,pytorch 将手写数字识别部署在FPGA等嵌入式端时,由于缺少tensorflow,pytorch等框架的使用,需要在PC端先训练出神经网络,导出权重参数再去硬件上只实现前向传播的部分. 本文使用MINIST手写数字识别数据集.先搭建了一个具有一个卷积层,一个池化层,两个全连接层的卷积神经网络.具体结构如下: MINIST手写数字识别数据集:其中图像数据为28x28的灰度图像.训练集:60000个,测试集:10000个 卷积层:共有30个5x5的卷积核 激活
pytorch 获取模型的参数数量
Ibelievesunshine的博客
05-25 3100
# Find total parameters and trainable parameters total_params = sum(p.numel() for p in model.parameters()) print(f'{total_params:,} total parameters.') total_trainable_params = sum(p.numel() for p in model.parameters() if p.requires_grad) ...
Pytorch 提取权重等参数 写入Excel
vivavivaa的博客
05-31 1685
Pytorch网络模型参数提取
将pytorch的权值矩阵导入FPGA中
12-01
本资源包含一个python文件和一个verilog文件，python文件使用pytorch框架搭建了一个RNN模型，并将RNN模型的LSTM层的一个权值矩阵，以二进制定点补码的形式输出，存储为coe文件；verilog文件在xilinx里初始化了一个...
PyTorch量化感知训练技术：模型压缩与高精度边缘部署实践
最新发布
Java_fenxiang的博客
07-07 451
神经网络模型部署需要采取全面的优化策略——构建准确的模型通常是相对容易的部分，而真正的挑战在于实现高效的大规模部署。当标准的PTQ方法无法满足精度要求时，QAT技术提供了有效的解决方案。然而，成功部署量化模型需要充分考虑多方面因素，包括目标平台及其支持的操作集合。PyTorch凭借其成熟的QAT工具链，为用户提供了便捷灵活的模型量化能力，适用于从简单CNN到拥有数十亿参数的大型语言模型等各类深度学习应用场景。
pytoch提取神经网络的权重等参数的方法
Joyce19940125的博客
03-31 3540
要将参数输入到硬件，因为不是c语言写的，就只能硬来…吐血 我希望我以后不要再费时间在此了！！ 方法一：提取各层的参数 output_1=model.fc1.bias.data output_1=model.fc1.weight.data 方法二：提取模型中所有weight的参数（bias一样） for name, parameters in model.state_dict().items(): ...
查看Pytorch网络的各层输出(feature map)、权重(weight)、偏置(bias)
热门推荐
ys1305的博客
07-31 2万+
BatchNorm2d参数量 torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) # 卷积层中卷积核的数量C num_features – C from an expected input of size (N, C, H, W) >>&...
获取Pytorch中间某一层权重或者特征的例子
09-18
今天小编就为大家分享一篇获取Pytorch中间某一层权重或者特征的例子，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch模型权重转变为Keras对应的模型权重
09-13
pytorch的机制便于快速开发模型，但是在产品上的运用不稳定，需要将其转换为keras对应的模型权重，使用该代码进行转换的示例可见：https://blog.csdn.net/xiaoxifei/article/details/82685298
pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法
09-18
今天小编就为大家分享一篇pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch 获取网络权重参数、每一层权重参数
知识搬运者
03-27 1万+
目录 1、查看每层对应的名称 2、输出相应层的权重 3、打印模块名字和参数大小 1、查看每层对应的名称 model = vgg16() for name in model.state_dict(): print(name) 2、输出相应层的权重 print(model.state_dict()['layers.0.conv2d.weight']) 3、打印模块名字和参数大小 for name, parameters in model.named_paramet.
获取深度学习模型权重或者某一层特征图输出的方法：基于pytorch
刘文凯的博客
11-09 1856
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了获取深度学习模型权重或者某一层特征输出的方法，包括使用hook机制。特征图输出就是某个图像（序列）经过该层时的输出以下是本篇文章正文内容以上就是今天要讲的内容。
【Pytorch】.pth权重文件解析
咖啡味儿的咖啡
04-01 1万+
pytorch最后的权重文件是.pth格式的。 经常遇到的问题： 进行finutune时，改配置文件中的学习率，发现程序跑起来后竟然保持了以前的学习率，并没有使用新的学习率。 原因： 首先查看.pth文件中的内容，我们发现它其实是一个字典格式的文件 其中保存了optimizer和scheduler，所以再次加载此文件时会使用之前的学习率。 我们只需要权重，也就是model部分，将...
Pytorch数据集读取-Excel
qq_50811028的博客
06-07 1238
很多时候患者的信息被存在excel表格里面，患者的图片存在另一批文件夹中。此时，如果需要训练一个深度学习模型，我们首先需要根据患者的图片名称找到相应excel中的患者信息，如标签（是或否患病）。定义一个类，包含如何加载数据、标签以及划分训练验证样本代码如下（示例）：自己使用时，需要自定义图片文件夹所在路径，和找到excel中标签和患者信息所处的列"""建立读取数据的类"""img_transforms, # 预处理dataset_root, # 标签所在路径。
pytorch 模型量化处理及导出onnx格式模型
znsoft的专栏
05-21 5147
量化时需要对算子进行量化处理，对输入数据fp32格式进行量化处理到int8, 再输入模型中。量化处理可以加快推理速度，减少模型占用空间 ，提高推理性能的必要选择。
（最全）PyTorch神经网络打印存储所有权重+状态+激活值（运行时中间值）+量化权重和激活
qq_44345567的博客
04-12 1443
假设已经有模型model和pt文件了，在当前目录下新建weights文件夹，运行最后三行代码，就可以得到模型的权重（文本形式和二进制形式）很多时候嵌入式或者新硬件需要纯净的权重模型和激活值（运行时中间值），本文提供一种最简洁的方法。作为一个整体，目前没办法拆开来看其内部的中间值。和以下等价（不需要recursive了）对于二进制形式的文件，可以通过。查看其对应的浮点数值。
pytorch量化工具
03-13
### PyTorch量化工具及其使用教程 #### 一、PyTorch官方量化支持概述 PyTorch提供了全面的支持来实现模型的量化，这不仅有助于减少模型大小和提高推理速度，还能够降低功耗，在资源受限设备上尤为重要[^2]。 #### 二、静态量化流程详解 对于已训练好的浮点数模型应用静态量化时，主要涉及以下几个方面的工作： - **校准数据集准备**：为了获得更精确的结果，通常需要一个小规模的数据集用于计算统计信息。 - **定义量化配置**：通过设置`qconfig`参数指定如何对权重和激活函数执行量化操作。可以采用默认配置或者自定义特定层的行为。 ```python import torch.quantization as quantization model.qconfig = quantization.get_default_qconfig('fbgemm') ``` - **转换模型结构**：利用`convert()`方法将原始模型转变为适合量化的版本，并插入必要的伪量化节点以便后续模拟量化效果。 ```python quantized_model = quantization.convert(model) ``` #### 三、动态量化实践指南 当目标仅限于压缩模型体积而不影响精度过多的情况下，可以选择只针对某些部分（如线性变换）实施动态量化策略。这种方式不需要额外的校准过程即可完成整个工作流。 ```python from torch.quantization import QuantWrapper, default_dynamic_qconfig wrapped_module = QuantWrapper(module_to_be_quantized) wrapped_module.qconfig = default_dynamic_qconfig dynamic_quantized_model = quantization.prepare(wrapped_module).eval() ``` #### 四、量化感知训练(QAT)入门指导 如果希望进一步提升量化后的性能表现，则可以通过引入QAT技术来进行微调优化。此过程中会调整网络内部参数使得其更加适应低比特表示形式下的运算需求[^1]。 ```python for epoch in range(num_epochs): model.train() for data, target in train_loader: optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() # After training completes... quantized_model = prepare_qat(model) ``` #### 五、导出至ONNX格式注意事项 一旦完成了上述任一种类型的量化处理之后，还可以借助ONNX作为中间件把最终成果迁移到其他平台上去运行。需要注意的是并非所有的算子都能被完美映射过去因此可能需要做一些适配性的修改才能确保兼容性良好[^3]。 ```bash pip install onnxruntime-tools ``` ```python torch.onnx.export(quantized_model, dummy_input, "quantized_model.onnx", export_params=True, opset_version=10, do_constant_folding=True, input_names=['input'], output_names=['output'], dynamic_axes={'input': {0: 'batch_size'}, }) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值