tensorRT---认识cuda-driver-api

CUcontext

实战代码


// CUDA驱动头文件cuda.h
#include <cuda.h>   // include <> 和 "" 的区别    
#include <stdio.h>  // include <> : 标准库文件 
#include <string.h> // include "" : 自定义文件  详细情况请查看 readme.md -> 5

#define checkDriver(op)  __check_cuda_driver((op), #op, __FILE__, __LINE__)

bool __check_cuda_driver(CUresult code, const char* op, const char* file, int line){
    if(code != CUresult::CUDA_SUCCESS){    // 如果 成功获取CUDA情况下的返回值 与我们给定的值(0)不相等, 即条件成立, 返回值为flase
        const char* err_name = nullptr;    // 定义了一个字符串常量的空指针
        const char* err_message = nullptr;  
        cuGetErrorName(code, &err_name);    
        cuGetErrorString(code, &err_message);   
        printf("%s:%d  %s failed. \n  code = %s, message = %s\n", file, line, op, err_name, err_message); //打印错误信息
        return false;
    }
    return true;
}

int main(){

    // 检查cuda driver的初始化
    checkDriver(cuInit(0));

    // 为设备创建上下文
    CUcontext ctxA = nullptr;                                   // CUcontext 其实是 struct CUctx_st*(是一个指向结构体CUctx_st的指针)
    CUcontext ctxB = nullptr;
    
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
TensorRT 是 NVIDIA 的一个高性能深度学习推理引擎,可以在 NVIDIA GPU 上加速深度学习推理。而 ONNX 是一种跨平台、开放的深度学习模型表示格式,可以在不同的深度学习框架之间灵活转换模型。 TensorRT 提供了一个 ONNX Parser,可以将 ONNX 模型解析为 TensorRT 的网络表示形式。这样,您就可以在 TensorRT 中加载 ONNX 模型,并在 NVIDIA GPU 上进行加速推理。以下是将 ONNX 模型转换为 TensorRT 的一些步骤: 1. 安装 TensorRT 和 ONNX Runtime 在使用 ONNX Parser 之前,需要先安装 TensorRT 和 ONNX Runtime。可以从 NVIDIA 官网下载 TensorRT,也可以通过 pip 安装 ONNX Runtime。 2. 将 ONNX 模型解析为 TensorRT 的网络表示形式 使用 TensorRT 的 ONNX Parser,可以将 ONNX 模型解析为 TensorRT 的网络表示形式。这个过程可以通过以下 Python 代码实现: ```python import tensorrt as trt import onnx # Load the ONNX model onnx_model = onnx.load("model.onnx") # Create a TensorRT builder builder = trt.Builder(TRT_LOGGER) # Create a TensorRT network from the ONNX model network = builder.create_network() parser = trt.OnnxParser(network, TRT_LOGGER) parser.parse(onnx_model.SerializeToString()) # Build an engine from the TensorRT network engine = builder.build_cuda_engine(network) ``` 在这个过程中,首先使用 ONNX 的 Python API 加载 ONNX 模型。然后,使用 TensorRT 的 Python API 创建一个 TensorRT builder 和一个 TensorRT network。接下来,使用 TensorRT 的 ONNX Parser 将 ONNX 模型解析为 TensorRT 的网络表示形式,并将其添加到 TensorRT network 中。最后,使用 TensorRT builder 构建一个 TensorRT 引擎。 3. 运行 TensorRT 引擎 构建完 TensorRT 引擎后,可以使用以下代码来运行 TensorRT 推理: ```python import pycuda.driver as cuda import pycuda.autoinit import numpy as np # Load the engine with open("engine.plan", "rb") as f: engine_data = f.read() engine = runtime.deserialize_cuda_engine(engine_data) # Allocate input and output buffers on the GPU input_bindings = [] output_bindings = [] stream = cuda.Stream() for binding in engine: size = trt.volume(engine.get_binding_shape(binding)) * engine.max_batch_size dtype = trt.nptype(engine.get_binding_dtype(binding)) if engine.binding_is_input(binding): input_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) else: output_bindings.append(cuda.mem_alloc(size * dtype.itemsize)) # Load input data to the GPU input buffer input_data = np.random.randn(batch_size, input_size) cuda.memcpy_htod(input_bindings[0], input_data.flatten().astype(np.float32)) # Run inference context = engine.create_execution_context() context.execute_async_v2(bindings=input_bindings + output_bindings, stream_handle=stream.handle) cuda.streams.synchronize() # Get the output data from the GPU output buffer output_data = np.empty((batch_size, output_size), dtype=np.float32) cuda.memcpy_dtoh(output_data.flatten(), output_bindings[0]) ``` 在这个过程中,首先使用 TensorRT 的 Python API 加载 TensorRT 引擎。然后,使用 PyCUDA 分配输入和输出缓冲区,并将输入数据从主机(CPU)传输到设备(GPU)。接下来,使用 TensorRT 的 Python API 创建一个 TensorRT 执行上下文,并在 GPU 上异步执行 TensorRT 推理。最后,使用 PyCUDA 将输出数据从设备(GPU)传输到主机(CPU)。 这就是将 ONNX 模型转换为 TensorRT 的一些步骤。由于 ONNX Parser 是 TensorRT 的一部分,因此可以使用 TensorRT 的 Python API 轻松地将 ONNX 模型转换为 TensorRT。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值