![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模型部署
文章平均质量分 65
深度学习模型部署相关技术
Zannnne
哈尔滨工业大学硕士
展开
-
Xavier中使用TensorRT的Python API对Pytorch模型进行FP16精度和INT8精度转换
FP16推理约6-8毫秒,总体帧率22帧 INT8推理4-6毫秒,总体帧率23帧没有必要INT8,影响速度的瓶颈不在inference了,对加载图像和后面推理结果处理以及可视化等部分耗时优化收益更大原创 2022-07-16 16:04:24 · 3551 阅读 · 4 评论 -
GPU和CUDA基础知识
显卡的作用独立显卡和集成显卡的区别NVIDIA显卡分类显卡和GPU的关系GPU的发展历程CUDACPU和GPU英伟达GPU架构显存和内存GPU能与不能CUDA并行计算流程CUDA硬件描述CUDA内存模型线程束cudaEvent原创 2022-06-10 17:14:57 · 2354 阅读 · 0 评论 -
TensorRt推理部署优化方案及流程概述
1.首先,进行模型转换。目前掌握的模型转换方案有两种,分别是pytorch–>onnx–>engine方案和pytorch–>wts–>engine方案。2.使用转换得到的TensorRT模型进行推理3.TensorRT推理结果的decode和后处理。原创 2022-08-25 10:20:03 · 2076 阅读 · 0 评论 -
TRT推理AttributeError: ‘NoneType‘ object has no attribute ‘create_execution_context‘出错原因与解决
TensorRT 推理AttributeError: 'NoneType' object has no attribute 'create_execution_context'出错原因与解决在出错的这一行打个断点,发现`engine = runtime.deserialize_cuda_engine(f.read())`这一行在执行完之后,`engine`是`None`,如下图所示,说明此时就已经出问题了,程序并没有能够成功的从engine文件反序列化出模型。因此执行到`engine.create_ex.原创 2022-08-26 15:16:32 · 7154 阅读 · 6 评论 -
TVM入门:TVM编译Pytorch模型工作流程
TVM编译Pytorch模型工作流程TVM官方文档参考0.导包import tvmfrom tvm import relayimport numpy as npfrom tvm.contrib.download import download_testdata# PyTorch importsimport torchimport torchvision1.加载一个模型这里以resnet18为例model_name = "resnet18"model = getattr(原创 2022-05-05 16:24:41 · 1956 阅读 · 1 评论 -
cuda编程入门:使用cuda实现矩阵加法
2.头文件关于cuda操作的一些接口都在这个头文件里3.申请内存cudaMalloc()接口4.转移拷贝cudaMemcpy()接口5.释放空间cudaFree接口6.核函数1.定义2.调用7.编译与运行使用nvcc进行编译生成可执行文件运行8.源代码附上源代码.........原创 2022-06-08 13:51:48 · 1163 阅读 · 0 评论 -
nvcc编译出错 undefined reference to `cublasCreate_v2‘
nvcc编译出错 undefined reference to `cublasCreate_v2'原创 2022-06-11 10:42:53 · 1985 阅读 · 0 评论