TensorRT C++ 序列化serialize / 反序列化deserialize

最新推荐文章于 2024-04-10 15:49:17 发布

我为什么这么菜.

最新推荐文章于 2024-04-10 15:49:17 发布

阅读量2.4k

点赞数

分类专栏： GPU TensorRT c++ 文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/nn1997729/article/details/109829717

版权

本文介绍了如何在TensorRT中使用C++进行Engine的序列化和反序列化操作，详细讨论了序列化Engine和反序列化Engine的过程，以及在使用智能指针时的注意事项。

摘要由CSDN通过智能技术生成

序列化Engine

// serialize the engine, then close everything down
const std::string engine_file{
    "tensorrt_mnist.trt" };
nvinfer1::IHostMemory* gieModelStream = mEngine->serialize(); // GIE model
fprintf(stdout, "allocate memory size: %d bytes\n", gieModelStream->size()