Yolov8 Seg分割 C++ GPU部署:ONNXRuntime cuda部署

   💡💡💡本文摘要:本文提供了YOLOv8 seg c++部署方式,ONNX Runtime CUDA和cpu部署

   💡💡💡ONNX Runtime优点:通用性好,速度较快,适合各个平台复制;

   💡💡💡下图为ONNX Runtime CUDA推理结果,为订阅者提供部署源码

1. ONNX和Tensorrt区别

ONNX Runtime 是将 ONNX 模型部署到生产环境的跨平台高性能运行引擎,主要对模型图应用了大量的图优化,然后基于可用的特定于硬件的加速器将其划分为子图(并行处理)。

ONNX的官方网站:https://onnx.ai

对于部署 YOLOv5 Segmentation 模型,可以通过以下步骤: 1. 将模型转换成 ONNX 格式 使用 PyTorch 软件包将 YOLOv5 Segmentation 模型训练并导出为 ONNX 格式。可以使用以下 Python 代码: ``` import torch model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True) model.eval() # Export the model to ONNX format torch.onnx.export(model, # PyTorch model torch.rand(1, 3, 640, 640), # Input tensor shape "yolov5s.onnx", # Output ONNX model name export_params=True) # Export weights and biases ``` 2. 使用 ONNX Runtime 部署模型 使用 ONNX Runtime C API,可以部署 ONNX 模型。可以使用以下 C++ 代码: ``` #include <stdio.h> #include <assert.h> #include <fstream> #include <iostream> #include <vector> #include "onnxruntime_c_api.h" int main() { OrtEnv* env; OrtCreateEnv(ORT_LOGGING_LEVEL_WARNING, "test", &env); OrtSession* session; OrtStatus* status; const char* model_path = "yolov5s.onnx"; OrtSessionOptions* session_options; OrtCreateSessionOptions(&session_options); status = OrtSessionOptionsAppendExecutionProvider_CPU(session_options, ORT_ENABLE_ALL); status = OrtCreateSession(env, model_path, session_options, &session); OrtMemoryInfo* memory_info; OrtCreateCpuMemoryInfo(OrtArenaAllocator, OrtMemTypeDefault, &memory_info); // Prepare input OrtValue* input_tensor = NULL; size_t input_size = 1 * 3 * 640 * 640; void* input_data = malloc(input_size); // TODO: Populate input_data with image data in BGR format status = OrtCreateTensorWithDataAsOrtValue(memory_info, input_data, input_size, {1, 3, 640, 640}, ONNX_TENSOR_ELEMENT_DATA_TYPE_FLOAT, &input_tensor); // Prepare output OrtValue* output_tensor = NULL; const char* output_name = "output"; // TODO: Replace with the actual output name of the YOLOv5 Segmentation model status = OrtSessionGetOutputCount(session, &output_count); std::vector<const char*> output_names(output_count); std::vector<int64_t> output_shapes(output_count); for (int i = 0; i < output_count; i++) { char* output_name_temp; status = OrtSessionGetOutputName(session, i, memory_info, &output_name_temp); assert(status == NULL); output_names[i] = output_name_temp; OrtTensorTypeAndShapeInfo* output_info; OrtSessionGetOutputTypeInfo(session, i, &output_info); assert(status == NULL); size_t num_dims; OrtTensorTypeAndShapeInfoGetShape(output_info, &output_shapes[i], 1, &num_dims); assert(status == NULL); OrtReleaseTensorTypeAndShapeInfo(output_info); } status = OrtSessionRun(session, NULL, &input_names[0], &input_tensors[0], 1, &output_names[0], 1, &output_tensor); assert(status == NULL); // TODO: Process output_tensor // Clean up OrtReleaseValue(input_tensor); OrtReleaseValue(output_tensor); OrtReleaseSession(session); OrtReleaseSessionOptions(session_options); OrtReleaseMemoryInfo(memory_info); OrtReleaseEnv(env); free(input_data); return 0; } ``` 3. 处理输出张量 YOLOv5 Segmentation 模型的输出张量是一个 4 维的张量,形状为 `[batch_size, num_classes, height, width]`,其中 `batch_size` 表示批大小,`num_classes` 表示类别数量,`height` 和 `width` 表示图像中每个像素的标签。可以使用以下 C++ 代码来解析输出张量: ``` OrtStatus* status; float* output_data = OrtGetFloatPtr(output_tensor, &num_elements); status = OrtGetValueCount(output_tensor, &output_count); assert(status == NULL); const int num_classes = output_shapes[1]; const int height = output_shapes[2]; const int width = output_shapes[3]; std::vector<int> predictions(num_elements); for (int i = 0; i < num_elements; i++) { predictions[i] = (int) (output_data[i] * num_classes); } // TODO: Process predictions ``` 4. 可视化分割结果 可以使用 OpenCV C++ 库来可视化分割结果,代码如下: ``` #include <opencv2/core.hpp> #include <opencv2/highgui.hpp> #include <opencv2/imgproc.hpp> // TODO: Replace with the actual image path const char* image_path = "test.jpg"; // TODO: Replace with the actual output post-processing code std::vector<int> predictions = postprocess_output(output_data, output_shapes); cv::Mat image = cv::imread(image_path); cv::Mat seg_image(height, width, CV_8UC3, cv::Scalar(0, 0, 0)); for (int y = 0; y < height; y++) { for (int x = 0; x < width; x++) { int prediction = predictions[y * width + x]; if (prediction == 0) { seg_image.at<cv::Vec3b>(y, x) = cv::Vec3b(255, 255, 255); // Background } else { seg_image.at<cv::Vec3b>(y, x) = cv::Vec3b(0, 0, 255); // Object } } } cv::Mat result; cv::addWeighted(image, 0.5, seg_image, 0.5, 0, result); cv::imshow("Result", result); cv::waitKey(0); cv::destroyAllWindows(); ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI小怪兽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值