Tensorrt部署的一个坑。

编译onnx文件过程中,提示:

        nvinfer_plugin.dll这个dll动态库找不到。

        解决方法:把TensorRT-8.6.1.6\lib下的dll文件都复制到bin文件夹下,再运行编译,即可实现正常的trtexec.exe程序的使用。

  • 3
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
TensorRT是NVIDIA推出的用于高性能推断的深度学习优化器和运行时引擎。它可以针对深度神经网络模型进行优化,从而加速模型的推理过程。在TensorRT中,部署ResNet网络可以按照以下步骤进行: 1. 生成ONNX文件:首先,将ResNet模型转换为ONNX格式。使用PyTorch官方提供的torch.onnx.export()函数可以将模型转换为ONNX文件。在转换过程中,需要指定输入的维度和模型的权重等信息。 2. 创建推理引擎:接下来,使用TensorRT的API来创建推理引擎。可以使用TensorRT的Builder和Network类来构建网络结构,并设置优化参数和推理选项。 3. 编译和优化:在创建网络结构后,需要使用TensorRT的Builder类将网络编译为可执行的推理引擎。在此过程中,TensorRT会对网络进行优化,包括融合卷积、批量归一化和激活函数等操作,以提高推理性能。 4. 推理:最后,使用生成的推理引擎对输入数据进行推理。可以将输入数据传递给推理引擎,并获取输出结果。 需要注意的是,部署TensorRT需要在系统中安装相应的软件和依赖库,如CUDA和TensorRT。在Windows 10系统上完成部署时,需要确保软件和依赖包的正确安装和配置。 总结来说,TensorRT部署ResNet网络的过程包括ONNX文件的生成、推理引擎的创建、编译和优化以及最后的推理过程。这样可以提高模型的推理性能,并加速图片分类项目的部署。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [tensorRT部署resnet网络Python、c++源码](https://download.csdn.net/download/matlab_xiaogen/86404017)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [TensorRT部署总结(一)](https://blog.csdn.net/qq_23022733/article/details/124566752)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值