实习-mobilenetv3的低质模型分类工作上线简记
pytorch 预训练模型转 onnx ( .pth 转 .onnx )
参考 https://blog.csdn.net/qq_38593182/article/details/119179022
安装执行环境 pytorch 1.2 安装onnx pip install onnx
import sys
import os
sys.path.append(os.path.abspath(os.path.join(os.getcwd(), ".")))
import onnx
import torch
from resnet50Pretrain import model_bn
model = model_bn(1024, 1226).cuda()
state_dict = torch.load("/search/gpu4/train_data/torch2onnx/res50_0.77.pth")['state_dict']
model.load_state_dict(state_dict) #预训练模型加载
model.cuda()
export_onnx_file = "resnet50_0728_77.onnx"
x=torch.onnx.export(model, # 待转换的网络模型和参数
torch.randn(1, 3, 300, 300, device='cuda'), # 虚拟的输入,用于确定输入尺寸和推理计算图每个节点的尺寸
export_onnx_file, # 输出文件的名称
verbose=False, # 是否以字符串的形式显示计算图
input_names=["input"], #输入节点的名称,
output_names=["output"], # 输出节点的名称
opset_version=10, # onnx 支持采用的operator set
do_constant_folding=True, # 是否压缩常量
dynamic_axes={"input":{0: "batch_size"}, "output":{0: "batch_size"},} #设置动态维度,此处指明input节点的第0维度可变,命名为batch_size,若设置固定的batch_size,则不需要设置dynamic_axes参数。
)
net = onnx.load("resnet50_0728_77.onnx") # 加载onnx 计算图
onnx.checker.check_model(net) # 检查文件模型是否正确
import onnxruntime
import numpy as np
session = onnxruntime.InferenceSession("./resnet50_0728_77.onnx") # 创建一个运行session,类似于tensorflow
out_r = session.run(None, {"input": np.random.rand(1, 3, 300, 300).astype('float32')}) # 模型运行,注意这里的输入必须是numpy类型
print(len(out_r))
print(out_r[0].shape)
具体---1 安装torch1.2
【】conda create -n pytoych12 python=3.6
激活环境变量 source activate pytoych12
在conda虚拟环境中安装CUDA//cudnn
https://developer.nvidia.com/rdp/cudnn-archive
【】conda install cudatoolkit=10.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/linux-64/
【】conda install cudnn=7.6.5 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/linux-64/
Package plan for installation in environment /search/odin/likun/anaconda/envs/pytoych12:
Package plan for installation in environment /search/odin/likun/anaconda/envs/pytoych12:
在conda虚拟环境中安装CUDA
https://www.cnblogs.com/elitphil/p/11833815.html
https://pytorch.org/get-started/previous-versions/
【】conda install pytorch==1.2.0 torchvision==0.4.0 cudatoolkit=10.0 -c pytorch
这样就是直接在虚拟环境中解决CUDA版本问题 不用像下面这样配置环境变量 方便点
常用操作
conda list | grep cuda ---- 查看验证CUDA有效
export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"
export PATH="/usr/local/cuda/bin:$PATH"
export CUDA_HOME="/usr/local/cuda:$CUDA_HOME"
具体---2 torch1.2上无法加载torch1.7训练的模型的问题
https://blog.csdn.net/flying_ant2018/article/details/115403774
得到onnx文件,pytorch1.2即可退出
安装tensorRT,得到trt模型
下载 注意版本 https://developer.nvidia.com/nvidia-tensorrt-7x-download
本地cmd执行:
上传服务器 scp D:\Chrome_download\TensorRT-7.2.2.3.CentOS-7.8.x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz likun@10.141.176.61:/search/odin/xxx
解压 tar -TensorRT-7.2.2.3.CentOS-7.8.x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz
TensorRT6.0.1安装指南
安装 https://zhuanlan.zhihu.com/p/139767249
https://blog.csdn.net/zt1091574181/article/details/100972562
编译执行语句
cd TensorRT-7.2.2.3/samples/trtexec
make
cd TensorRT-7.2.2.3/bin
./trtexec --onnx=/search/odin/likun/zyresnet/A_onnx/model_large_2.onnx --saveEngine=/search/odin/likun/zyresnet/A_onnx/model_large_2_.trt --minShapes=input:1x3x300x300 --optShapes=input:16x3x300x300 --maxShapes=input:32x3x300x300 --shapes=input:1x3x300x300 --int8 --workspace=1 --verbose
报错:CUDA库不对/找不到
【核心---动态库的添加】
--- /usr/local/cuda/lib64/ 路径系统安装的是CUDA10.2 跟 TensorRT-7.2.2.3的CUDA11.0不配
--- 自己没有意识到自建的CUDA11.0的pytorch虚拟环境库的位置
暂时加
export LD_LIBRARY_PATH="/search/odin/likun/anaconda/pkgs/cudatoolkit-11.0.221-h6bb024c_0/lib:/search/odin/likun/TensorRT-7.2.2.3/lib:/usr/lib:/usr/lib64:/usr/local/lib:/usr/local/lib64"
显示
echo $LD_LIBRARY_PATH
echo $PATH
之后就可以成功编译执行将onnx转化为trt文件,准备上线测试。
¥重新 TensorRT-7.0.0.11
¥下载 https://developer.nvidia.com/nvidia-tensorrt-7x-download
¥上传 本地cmd执行: scp D:\Chrome_download\TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz likun@10.141.176.61:/search/odin/likun
¥解压 tar -xvf TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-10.2.cudnn7.6.tar.gz
¥安装 cd TensorRT-7.0.0.11/python pip install tensorrt-7.0.0.11-cp36-none-linux_x86_64.whl
¥安装 cd TensorRT-7.0.0.11/graphsurgeon pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
¥【自主添加环境变量】
新建vim env-7-0.sh
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/search/odin/likun/TensorRT-7.0.0.11/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-10.2/lib64/
其实主要是能找到动态库就行 ---- TensorRT-7.0.0.11所需要的CUDA10.2的库
上线测试--记录1
/search/odin/xxx/Documents/PlantClassifyTemp
make---生成.bin文件
/search/odin/xxx/Deploys/PlantClassifyInstall/opt/sogou
更改.cfg .sh文件
然后运行sh start_qo.sh
本地flower.py
用这个在本地测 --- 改端口