![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
TensorRT
Auto_Car6
天行健,君子以自强不息,地势坤,君子以厚德载物
展开
-
TensorRT之createInferBuilder
函数的作用是创建一个用于构建 TensorRT 推理引擎的构建器对象。使用这个构建器对象,你可以配置模型的优化选项、精度、批大小等参数,然后构建一个推理引擎,该引擎可以在 NVIDIA GPU 上进行加速推理。这只是一个简单的示例,实际使用时需要根据你的模型和应用场景来配置构建器的选项。在配置完成后,你可以使用构建器创建 TensorRT 推理引擎。TensorRT 是一个用于高性能深度学习推理的库,支持在 NVIDIA GPU 上进行加速。在 NVIDIA TensorRT 中,原创 2023-12-15 13:35:49 · 567 阅读 · 0 评论 -
TensorRT之getBindingIndex
这个函数通常在创建 TensorRT 推理引擎之后使用,用于确定输入和输出张量在引擎中的位置。一旦你知道了输入和输出张量的绑定索引,你就可以使用这些索引来设置输入数据和提取输出数据。TensorRT 将输入和输出张量绑定到引擎的输入和输出索引上。是你在创建 TensorRT 引擎时为输入和输出张量分配的名称。函数有助于确保正确将输入和输出数据与 TensorRT 引擎中的绑定索引对应。在使用 TensorRT(NVIDIA 的推理引擎)时,函数用于检索给定名称的输入或输出张量在引擎中的索引。原创 2023-12-06 13:25:27 · 836 阅读 · 0 评论