C++ TensorRT部署Yolov5模型

要在C++中使用TensorRT部署Yolov5模型，并获得3个输出，您可以按照以下步骤进行操作：

1. 导入所需的TensorRT和Yolov5相关头文件。

#include <NvInfer.h>
#include <cuda_runtime_api.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <fstream>
#include <vector>

2. 加载已经转换为TensorRT格式的Yolov5模型。

// 创建TensorRT的推理引擎
std::string enginePath = "path/to/yolov5.engine";
std::ifstream engineFile(enginePath, std::ios::binary);
if (!engineFile) {
    std::cerr << "Unable to open engine file: " << enginePath << std::endl;
    return -1;
}

engineFile.seekg(0, std::ios::end);
size_t fileSize = engineFile.tellg();
engineFile.seekg(0, std::ios::beg);
std::vector<char> engineData(fileSize);
engineFile.read(engineData.data(), fileSize);
engineFile.close();

nvinfer1::IRuntime* runtime = nvinfer1::createInferRuntime(gLogger);
nvinfer1::ICudaEngine* engine = runtime->deserializeCudaEngine(engineData.data(), fileSize);

3. 创建TensorRT的推理上下文（context）。

nvinfer1::IExecutionContext* context = engine->createExecutionContext();

4. 准备输入数据并将其传递给推理引擎。

// 加载输入图像并进行预处理
std::string imagePath = "path/to/input.jpg";
cv::Mat image = cv::imread(imagePath);
// 进行图像预处理，如缩放、归一化等

// 分配CUDA内存并将输入数据传输到CUDA内存
size_t inputSize = inputVolume * sizeof(float);
float* inputData;
cudaMalloc(&inputData, inputSize);
cudaMemcpy(inputData, preprocessedImage.data, inputSize, cudaMemcpyHostToDevice);

// 创建TensorRT的输入和输出缓冲区
int batchSize = 1;
const int inputIndex = engine->getBindingIndex("input");
const int output1Index = engine->getBindingIndex("output1");
const int output2Index = engine->getBindingIndex("output2");
const int output3Index = engine->getBindingIndex("output3");

5. 从TensorRT的输出缓冲区中获取输出结果。

// 分配内存用于输出数据
size_t output1Size = output1Volume * sizeof(float);
float* output1Data = new float[output1Size];
cudaMemcpy(output1Data, buffers[output1Index], output1Size, cudaMemcpyDeviceToHost);

size_t output2Size = output2Volume * sizeof(float);
float* output2Data = new float[output2Size];
cudaMemcpy(output2Data, buffers[output2Index], output2Size, cudaMemcpyDeviceToHost);

size_t output3Size = output3Volume * sizeof(float);
float* output3Data = new float[output3Size];
cudaMemcpy(output3Data, buffers[output3Index], output3Size, cudaMemcpyDeviceToHost);

6. 执行推理处理推理结果。

void* buffers[] = { inputData, output1Data, output2Data, output3Data };

// 执行推理
context->execute(batchSize, buffers);
// 处理输出数据
// 可以根据具体需求进行后处理，如解码边界框等

// 释放内存
delete[] output1Data;
delete[] output2Data;
delete[] output3Data;
cudaFree(inputData);

7. 清理资源。

// 释放TensorRT资源
context->destroy();
engine->destroy();
runtime->destroy();

// 释放CUDA资源
cudaDeviceReset();

这些步骤提供了一个基本的框架，您可以根据实际情况进行调整和扩展。请注意，上述代码中的一些细节可能需要根据您的具体模型和环境进行修改，如输入输出名称、内存布局、后处理等。确保正确配置CUDA环境并具备适当的GPU硬件支持。

此外，您还需要根据Yolov5模型的具体设计和输出格式，进行适当的输出数据解析和后处理操作，以获取有意义的结果。

建议您参考TensorRT和Yolov5的官方文档、示例代码和社区资源，以获得更详细和完整的实现指导。