tensorrt推理
文章平均质量分 75
ywfwyht
这个作者很懒,什么都没留下…
展开
-
ONNX模型及自定义plugin的动态链接库转TensorRT模型推理
ONNX是一种用于表示机器学习模型的格式,而TensorRT是一个高性能的推理引擎,用于在NVIDIA GPU上进行推理。自定义plugin则是指在TensorRT中自定义一些操作(如卷积、ReLU等),以提高模型推理效率。首先,需要定义一个继承自ITensorRT接口的plugin类,实现其对应的虚函数,例如前向计算函数和反向传播函数等。在实现以上步骤时,需要注意TensorRT的版本和系统配置。使用TensorRT的Python API或C++ API,将ONNX模型转换为TensorRT引擎。原创 2023-06-03 16:58:59 · 846 阅读 · 2 评论 -
实现PyTorch/ONNX自定义节点操作的TensorRT部署
这样,我们就获得了带有自定义操作的ONNX模型。原创 2023-05-29 22:27:17 · 1473 阅读 · 1 评论 -
TensorRT API将多个engine文件及plugin合并为一个engine文件
在代码示例中,我们使用两个IRuntime实例加载两个engine文件,获取其中的输入和输出张量,并创建一个新的engine文件。然后,我们使用IBuilder创建一个新的网络,并将两个engine文件的输入和输出张量添加到新的网络中。代码会创建一个新的engine,该engine从两个输入绑定开始,然后遍历两个engine的所有层,将它们复制到新的engine中,最后以两个输出绑定结束。使用TensorRT API获取两个engine文件的输入和输出张量名称,并创建一个新的engine文件。原创 2023-05-27 22:00:57 · 1396 阅读 · 0 评论 -
C++:点云检测tensorrt推理
点云检测trt推理原创 2022-11-25 16:52:53 · 504 阅读 · 2 评论