![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工程项目
文章平均质量分 53
奥特慢走
这个作者很懒,什么都没留下…
展开
-
模型剪枝量化
- 剪枝:将某些权重变为0量化:用INT8表示FP32的权重/输入(activation)PTQ post training quantization需要确定两个:where s is the scale factor and z is the zero-point - the integer value to which the real value zero is mapped量化权重(已知分布方便量化)量化输入(需要calibration dataset 表示所有输入数据)QAT原创 2022-03-20 16:23:30 · 1003 阅读 · 0 评论 -
MMClassificatio 框架下 Pytorch模型转TensorRT
模型的加载import torchvision.models as modelsresnet34 = models.resnet34()resnet34.load_state_dict(torch.load('latest.pth')['model'])要解决的疑问load_state_dict torch.load作用dummy input作用dummy_input=torch.randn(BATCH_SIZE, 3, 224, 224)import torch.onnxtorch原创 2021-11-14 18:01:13 · 1385 阅读 · 0 评论 -
Pytorch模型转TensorRT踩坑
博主使用mmclassification项目来训练道路标志识别模型,并且使用官方代码中的pytorch2onnx以及onnx2tensorrt脚本,由于工程需要使用的tensorrt版本为6.0,但是遇到了如下问题:输出的onnx很复杂,有乱七八糟的结构方法是将输出的onnx模型通过simplifier简化版本问题博主pytorch2onnx转换成功,但是再转trt的时候收到如下报错经过google后发现是版本问题,大意是trt6不支持pytorch1.3,所以onnx解释器(onnx2原创 2021-10-12 20:52:14 · 1198 阅读 · 0 评论