![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch模型部署
文章平均质量分 73
黑猫爱小鹿
这个作者很懒,什么都没留下…
展开
-
Cudnn Error in configure: 7 (CUDNN_STATUS_MAPPING_ERROR)
Cudnn Error in configure: 7 (CUDNN_STATUS_MAPPING_ERROR)错误原因是cudnn没有正确链接/home/xxx/Downloads/libtorch/share/cmake/Caffe2/public/cuda.cmake 147-177行f(CAFFE2_USE_CUDNN) # Get cuDNN version if(EXISTS ${CUDNN_INCLUDE_PATH}/cudnn_version.h) file(RE原创 2021-03-22 11:15:50 · 2462 阅读 · 0 评论 -
Pytorch模型部署之-------pytorch部署全记录
Pytorch模型部署全纪录文章目录Pytorch模型部署全纪录pytorch模型保存模型保存模型加载保存和加载 Checkpoint 用于推理/继续训练模型转换onnx模型检查安装libtorch编写程序加载模型CMakeLists.txt测试(cpu与gpu)利用Tensorrt加速pytorch模型保存模型保存torch.save(model, ‘net.pth’) # 保存整个神经网络的模型结构以及参数torch.save(model, ‘net.pkl’) # 保存整个神经网络的模型结构原创 2021-03-16 19:27:58 · 4414 阅读 · 2 评论 -
Pytorch模型部署之---------pytorch利用tensorrt加速
pytorch利用tensorrt加速文章目录pytorch利用tensorrt加速构件enigen部署模型进行推理结果展示遇到的坑[TensorRT] ERROR: Network must have at least one output改用tensorrt7.0.0.11构件enigen环境ubuntu 16.04 tensorrt 7.0.0.11cuda 10.0#include <cuda_runtime.h>#include <iostream>#原创 2021-03-16 19:27:17 · 1060 阅读 · 0 评论 -
Pytorch模型部署之-------cudatoolkit介绍
文章目录显卡,显卡驱动,nvcc, cuda driver,cudatoolkit,cudnn区别?GPU型号含义CUDA名称含义CUDAcudnnCUDA Toolkit`nvcc`&`nvidia-smi``nvcc``nvidia-smi``nvcc`和`nvidia-smi`显示的CUDA版本不同?runtime和driver API区别Linux中PATH、 LIBRARY_PATH、 LD_LIBRARY_PATH的区别PATHLIBRARY_PATH和LD_LIBRARY_PATH多版原创 2021-02-25 17:03:03 · 9997 阅读 · 0 评论 -
Pytorch模型部署之---------ubuntu 安装cuda,cudnn,tensorrt
文章目录目录安装CUDA安装TensorRT安装cudnn目录安装CUDACUDA是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构,是一种并行计算平台和编程模型,该架构使GPU能够解决复杂的计算问题。CUDA英文全称是Compute Unified Device Architecture。有人说:CUDA是一门编程语言,像C,C++,python 一样,也有人说CUDA是API。官方说:CUDA是一个并行计算平台和编程模型,能够使得使用GPU进行通用计算原创 2021-02-24 19:43:44 · 277 阅读 · 0 评论 -
Pytorch模型部署之--------TensorRT介绍
TensorRT文章目录TensorRT介绍模型构建Engine 序列化和反序列化使用 engine 进行预测前向预测总结转载链接介绍TensorRT(TRT) 作为一种能显著加快深度学习模型 inference 的工具,如果能够较好的利用,可以显著提高我们的 GPU 使用效率和模型运行速度。TensorRT(TRT) 作为一种快速的 GPU 推理框架,其常规流程就是利用现有的模型文件编译一个 engine,在编译 engine 的过程中,**会为每一层的计算操作找寻最优的算子方法,这样编译好的原创 2021-03-16 10:34:23 · 1810 阅读 · 0 评论