Pytorch 量化后权重参数导出

最新推荐文章于 2024-04-12 20:43:04 发布
最新推荐文章于 2024-04-12 20:43:04 发布
阅读量1.8k 收藏 5
点赞数
文章标签： pytorch python tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/vivavivaa/article/details/125174696
版权

Pytorch 网络量化后权重等参数导出

Topic : 网络参数导出

时间 ：2022 / 6 / 07

写在最前：

在这篇文章中Pytorch 提取权重等参数 写入Excel ： 以为量化后只给出了相应层的s、z值，需要将网络中的参数导出进行再处理。

需要用到的Python库：

  • pytorch
  • pandas
  • numpy
  • openpyxl

今天才发现其实权重参数可以直接以int8整数形式导出如下图所示，不过后续仍然需要再转换为二进制bin。

(此处偏置bias仍然需要手动量化)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZLd6TE6g-1654611905443)(../../../../../../WindowsUsers/Admin/Documents/Typora/images/image-20220607222430399.png)]

是用到 t.int_repr().但是这边并没有查到关于这个函数的更多信息。这里仅作为使用。

最低0.47元/天 解锁文章
vivavivaa
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
将pytorch的权值矩阵导入FPGA中
12-01
本资源包含一个python文件和一个verilog文件，python文件使用pytorch框架搭建了一个RNN模型，并将RNN模型的LSTM层的一个权值矩阵，以二进制定点补码的形式输出，存储为coe文件；verilog文件在xilinx里初始化了一个...
pytorhc模型权重导出 解析.npy文件 将数据按照指定格式打印到txt中
蜗牛在听雨的博客
11-05 891
代码如下： import numpy as np input_data = np.load(r"mlp_6_weight.npy") print(input_data.shape) data = input_data.T #根据自己的需求确认是否要转置 print(data.shape) print(data) np.savetxt(r"mlp_6_weight.txt",data,fmt=['%.017f']*data.shape[1],delimiter=',',newline='},\n{')
pytorch 模型输出特征 保存npy
DRACOYU的博客
02-22 6162
npy数据的保存与读取 保存 　　利用这种方法，保存文件的后缀名字一定会被置为.npy x = 10 numpy.save("data_x.npy",x) 读取 data = numpy.load("data_x.npy") 创建一个tensor a = torch.arange(10) ''' tensor([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) device(type='cpu') 默认在cpu上 ''' 1. CPU tensor转...
（最全）PyTorch神经网络打印存储所有权重+状态+激活值（运行时中间值）+量化权重和激活
qq_44345567的博客
04-12 502
假设已经有模型model和pt文件了，在当前目录下新建weights文件夹，运行最后三行代码，就可以得到模型的权重（文本形式和二进制形式）很多时候嵌入式或者新硬件需要纯净的权重模型和激活值（运行时中间值），本文提供一种最简洁的方法。作为一个整体，目前没办法拆开来看其内部的中间值。和以下等价（不需要recursive了）对于二进制形式的文件，可以通过。查看其对应的浮点数值。
[ pytorch ] 基本使用丨5. 模型权重/参数学习丨
它的专栏
11-18 9699
目录 1. 查看/调用 模型的权重. 2. 打印模型参数量 3. 权重初始化。| 官方文档 | 4、自定义可训练参数。 1. 查看/调用 模型的权重. import torch import torch.nn as nn from torchvision import models class MyModel(nn.Module): def __init__(self, )...
tensorrt官方int8量化方法汇总
Suan2014的博客
08-08 1181
int8量化对小目标检测影响较大；int8量化相比fp16量化推理时间并不会节省一半，需实测；当fp16推理时间满足要求时，请采用fp16量化；
pytorch 模型量化处理及导出onnx格式模型
znsoft的专栏
05-21 2403
量化时需要对算子进行量化处理，对输入数据fp32格式进行量化处理到int8, 再输入模型中。量化处理可以加快推理速度，减少模型占用空间 ，提高推理性能的必要选择。
查看Pytorch网络的各层输出(feature map)、权重(weight)、偏置(bias)
ys1305的博客
07-31 2万+
BatchNorm2d参数量 torch.nn.BatchNorm2d(num_features, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) # 卷积层中卷积核的数量C num_features – C from an expected input of size (N, C, H, W) >>&...
pytorch 训练部署资料
03-20
- **模型量化与轻量化**：为了在资源有限的设备上部署，可以进行模型量化和轻量化，如使用PyTorch的Quantization API。 - ** TorchScript**：TorchScript是PyTorch的静态图表示，可用于模型的C++部署或集成到其他...
TensorRT-使用TensorRT部署Pytorch版YOLOv4-通过Pytorch2onnx导出onnx模型转TRT部署
02-27
2. **模型导出**: 使用PyTorch的`torch.onnx.export`函数，将PyTorch模型导出为ONNX格式的模型文件。 3. **验证ONNX模型**: 验证ONNX模型是否正确地保留了原始模型的行为，可以使用ONNX的验证工具。 4. **模型优化**...
DCNv2-pytorch-1.7.zip
10-20
在模型训练完成后，我们可以将模型导出，部署到实际应用中。需要注意的是，由于DCNv2的计算复杂度较高，部署时可能需要针对特定硬件进行优化，如使用GPU加速或者模型量化。 总之，DCNv2是深度学习领域中的一个重要...
pytorch yolov8的检测pt模型转onnx
09-26
PyTorch 和 ONNX（Open Neural Network Exchange）是两个非常重要的工具，前者是一个灵活的深度学习框架，后者是一种通用的模型交换格式。本篇文章将详细探讨如何将 PyTorch 中的 YOLOv8 检测模型转换为 ONNX 格式。...
pytorch获取全部权重参数、每一层权重参数
m0_52347246的博客
11-23 1万+
pytorch获取全部权重参数、每一层权重参数 首先需要安装torchsummary 在相应的虚拟环境下pip install torchsummary 1、打印每层参数信息： summary(net,input_size,batch_size,device), net:网络模型 input_size:网络输入图片的shape batch_size：默认参数为-1 device:在gpu上还是cpu上运行，默认是cuda在gpu上运行，若想在cpu上运行，需将参数改为cpu。 eg.vgg16网络： mod
pytorch搭建卷积网络（以minist数据集为例）以及如何查看输出每层的权重和特征图
qq_40840797的博客
07-18 2077
# -*- coding: utf-8 -*- """ Created on Sun Jul 18 15:19:41 2021 @author: pony """ import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F import torchvision.datasets as dsets import torchvision.transforms as transf.
Pytorch数据集读取-Excel
qq_50811028的博客
06-07 778
很多时候患者的信息被存在excel表格里面，患者的图片存在另一批文件夹中。此时，如果需要训练一个深度学习模型，我们首先需要根据患者的图片名称找到相应excel中的患者信息，如标签（是或否患病）。定义一个类，包含如何加载数据、标签以及划分训练验证样本代码如下（示例）：自己使用时，需要自定义图片文件夹所在路径，和找到excel中标签和患者信息所处的列"""建立读取数据的类"""img_transforms, # 预处理dataset_root, # 标签所在路径。
python数据如何保存到excel中
热门推荐
junli_chen的博客
12-15 3万+
第一步：下载xlwt 首先要下载xlwt，（前提是你已经安装好了Python） 下载地址：  https://pypi.python.org/pypi/xlwt/ 点击进去，找到下图内容 下载第二个 第二步：安装xlwt 打开cmd，切换目录到你下载的文件地址 输入python setup.py install，就安装成功了
Pytorch 获取网络权重参数、每一层权重参数
知识搬运者
03-27 1万+
目录 1、查看每层对应的名称 2、输出相应层的权重 3、打印模块名字和参数大小 1、查看每层对应的名称 model = vgg16() for name in model.state_dict(): print(name) 2、输出相应层的权重 print(model.state_dict()['layers.0.conv2d.weight']) 3、打印模块名字和参数大小 for name, parameters in model.named_paramet.
记录ncnn导出模型的权重读取的一点思路
weixin_41029027的博客
08-16 492
大概找了找全网使用ncnn框架导出权重模型的博客（可以参考的只有2篇，一篇过时了，没法儿使用；另一篇的函数重载似乎提及了也没什么用处，因为另一篇提到的函数重载事实上在ncnn中已经代码体现了，但是未能深入逐层输出，而且我运行了发现出了bug），翻了ncnn的github，有大量技术发烧友都在追求ncnn工具导出后的FP16、INT8模型的权重、偏置参数读取，然而苦于ncnn框架规模实在太大，C++技术高度密集，权重输出确实不太容易。
获取深度学习模型权重或者某一层特征图输出的方法：基于pytorch
刘文凯的博客
11-09 1365
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了获取深度学习模型权重或者某一层特征输出的方法，包括使用hook机制。特征图输出就是某个图像（序列）经过该层时的输出以下是本篇文章正文内容以上就是今天要讲的内容。
pytorch量化后推理
最新发布
05-27
PyTorch量化后推理是指将神经网络模型进行量化（Quantization），以减少模型的大小、加速推理过程并提高在移动设备等低功耗场景下的性能。 PyTorch支持多种量化方案，其中最常用的是对权重和激活值进行量化。通常...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值