[TensorRT Sample Code] How to Save Engine and Load Engine from file

本文档主要介绍了如何使用TensorRT的示例代码`trtexec.cpp`来保存和加载引擎。首先,展示了如何将引擎保存到文件中,接着详细说明了如何从`.trt`文件以及模型文件(如Caffe、ONNX格式)加载引擎。
摘要由CSDN通过智能技术生成

In the TensorRT Sample "TensorRT-7.0.0.11/samples/trtexec/trtexec.cpp"

1 Save Engine to file

bool saveEngine(const ICudaEngine& engine, const std::string& fileName, std::ostream& err)
{
    std::ofstream engineFile(fileName, std::ios::binary);
    if (!engineFile)
    {
        err << "Cannot open engine file: " << fileName << std::endl;
        return false;
    }

    TrtUniquePtr<IHostMemory> serializedEngine{engine.serialize()};
    if (serializedEngine == nullptr)
    {
        err << "Engine serialization failed" << std::endl;
        return false;
    }

    engineFile.write(static_cast<char*>(serializedEngine->data()), serializedEngine->size());
    return !engineFile.fail();
}

2 Load Engine from file

TrtUniquePtr<nvinfer1::ICudaEngine> getEngine(const ModelOptions& model, const BuildOptions& build, const SystemOptions& sys, std::ostream& err)
{
    TrtUniquePtr<nvinfer1::ICudaEngine> engine;
    if (build.load)
    {
        engine.reset(loadEngine(build.engine, sys.DLACore, err));//.trt file
    }
    else
    {
        engine.reset(modelToEngine(model, build, sys, err));//other file such as .onnx
    }
    if (!engine)
    {
        err << "Engine creation failed" << std::endl;
        return nullptr;
    }
    if (build.save && !saveEngine(*engine, build.engine, err))
    {
        err << "Saving engine to file failed" << std::endl;
        return nullptr;
    }
    return engine;
}

2.1 Load Engine from .trt file

ICudaEng
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值