ONNXRUNTUIME c++使用（分割网络）与相关资料（暂记）

已于 2023-02-17 21:47:06 修改
阅读量797 收藏 3
点赞数 1
分类专栏： 深度学习 文章标签： c++ git 开发语言
于 2023-02-11 10:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ResumeProject/article/details/128967762
版权

        下面的教程是在linux系统上运行的，如果想在windows系统上运行，可以看官方链接或中文教程https://bbs.huaweicloud.com/blogs/335706，官方链接中有完整的VS的带.sln的项目。

ONNXRUNTUIME

  • OPENCV不支持某些算子(挤压层在opencv 中不支持)

安装 github.com/microsoft/onnxruntime

配置

cmake_minimum_required(VERSION 3.15)
project(aaa)
set(CMAKE_CXX_STANDARD 14)

option(ONNXRUNTIME_ROOTDIR "/home/dell/CLionProjects/onnxruntime-linux-x64-1.12.1")
find_package(OpenCV REQUIRED)
set(SOURCE_FILES main.cpp)
include_directories(${OpenCV_INCLUDE_DIRS})
include_directories("/home/dell/下载/onnxruntime-1.12.1/include/onnxruntime/core/session/")
include_directories("/home/dell/下载/onnxruntime-1.12.1/include/")

add_executable(aaa main.cpp)
target_link_libraries(aaa ${OpenCV_LIBS})
target_link_libraries(aaa "/home/dell/CLionProjects/onnxruntime-linux-x64-1.12.1/lib/libonnxruntime.so")

安装ONNXRUNTIME

新版本(1.13)弃用函数GetInputName 到 GetInputNameAllocator,所以可以使用1.12版本

session->GetInputName(i, allocator));

自己build

运行一个实力

在这里插入图片描述在这里插入图片描述

//PP-HumanSeg-opencv-onnxrun-main
#define _CRT_SECURE_NO_WARNINGS
#include <iostream>
#include <fstream>
#include <string>
#include <opencv2/imgproc.hpp>
#include <opencv2/highgui.hpp>
#include <onnxruntime_cxx_api.h>
//#include <cuda_provider_factory.h>  ///如果使用cuda加速，需要取消注释
#include <tensorrt_provider_factory.h>  ///如果使用cuda加速，需要取消注释


using namespace cv;
using namespace std;
using namespace Ort;

class pphuman_seg
{
public:
    pphuman_seg();
    Mat inference(Mat cv_image);
private:

    void preprocess(Mat srcimg);
    int inpWidth;
    int inpHeight;
    vector<float> input_image_;
    const float conf_threshold = 0.5;

    Env env = Env(ORT_LOGGING_LEVEL_ERROR, "pphuman-seg");
    Ort::Session *ort_session = nullptr;
    SessionOptions sessionOptions = SessionOptions();
    vector<char*> input_names;
    vector<char*> output_names;
    vector<vector<int64_t>> input_node_dims; // >=1 outputs
    vector<vector<int64_t>> output_node_dims; // >=1 outputs
};

pphuman_seg::pphuman_seg()
{
    string model_path = "../model_float32.onnx";
    //std::wstring widestr = std::wstring(model_path.begin(), model_path.end());  windows写法
    ///OrtStatus* status = OrtSessionOptionsAppendExecutionProvider_CUDA(sessionOptions, 0);   ///如果使用cuda加速，需要取消注释

    sessionOptions.SetGraphOptimizationLevel(ORT_ENABLE_BASIC);
    //ort_session = new Session(env, widestr.c_str(), sessionOptions); windows写法
    ort_session = new Session(env, model_path.c_str(), sessionOptions); //linux写法

    size_t numInputNodes = ort_session->GetInputCount();
    size_t numOutputNodes = ort_session->GetOutputCount();
    AllocatorWithDefaultOptions allocator;
    for (int i = 0; i < numInputNodes; i++)
    {
        input_names.push_back(ort_session->GetInputName(i, allocator));
        Ort::TypeInfo input_type_info = ort_session->GetInputTypeInfo(i);
        auto input_tensor_info = input_type_info.GetTensorTypeAndShapeInfo();
        auto input_dims = input_tensor_info.GetShape();
        input_node_dims.push_back(input_dims);
    }
    for (int i = 0; i < numOutputNodes; i++)
    {
        output_names.push_back(ort_session->GetOutputName(i, allocator));
        Ort::TypeInfo output_type_info = ort_session->GetOutputTypeInfo(i);
        auto output_tensor_info = output_type_info.GetTensorTypeAndShapeInfo();
        auto output_dims = output_tensor_info.GetShape();
        output_node_dims.push_back(output_dims);
    }
    this->inpHeight = input_node_dims[0][2];
    this->inpWidth = input_node_dims[0][3];
}

void pphuman_seg::preprocess(Mat srcimg)
{
    Mat dstimg;
    resize(srcimg, dstimg, Size(this->inpWidth, this->inpHeight), INTER_LINEAR);

    int row = dstimg.rows;
    int col = dstimg.cols;
    this->input_image_.resize(row * col * dstimg.channels());
    for (int c = 0; c < 3; c++)
    {
        for (int i = 0; i < row; i++)
        {
            for (int j = 0; j < col; j++)
            {
                float pix = dstimg.ptr<uchar>(i)[j * 3 + c];
                this->input_image_[c * row * col + i * col + j] = (pix / 255.0 - 0.5) / 0.5;
            }
        }
    }
}

Mat pphuman_seg::inference(Mat srcimg)
{
    this->preprocess(srcimg);
    array<int64_t, 4> input_shape_{1, 3, this->inpHeight, this->inpWidth};

    auto allocator_info = MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeCPU);
    Value input_tensor_ = Value::CreateTensor<float>(allocator_info, input_image_.data(), input_image_.size(), input_shape_.data(), input_shape_.size());
    vector<Value> ort_outputs = ort_session->Run(RunOptions{ nullptr }, input_names.data(), &input_tensor_, 1, output_names.data(), output_names.size());   // 开始推理
    // post process.
    Value &mask_pred = ort_outputs.at(0);
    const int out_h = this->output_node_dims[0][1];
    const int out_w = this->output_node_dims[0][2];
    float *mask_ptr = mask_pred.GetTensorMutableData<float>();

    Mat segmentation_map;
    Mat mask_out(out_h, out_w, CV_32FC2, mask_ptr);
    resize(mask_out, segmentation_map, Size(srcimg.cols, srcimg.rows));
    Mat dstimg = srcimg.clone();

    for (int h = 0; h < srcimg.rows; h++)
    {
        for (int w = 0; w < srcimg.cols; w++)
        {
            float pix = segmentation_map.ptr<float>(h)[w * 2];
            if (pix > this->conf_threshold)
            {
                float b = (float)srcimg.at<Vec3b>(h, w)[0];
                dstimg.at<Vec3b>(h, w)[0] = uchar(b * 0.5 + 1);
                float g = (float)srcimg.at<Vec3b>(h, w)[1];
                dstimg.at<Vec3b>(h, w)[1] = uchar(g * 0.5 + 1);
                float r = (float)srcimg.at<Vec3b>(h, w)[2];
                dstimg.at<Vec3b>(h, w)[2] = uchar(r * 0.5 + 1);
            }
        }
    }

    for (int h = 0; h < srcimg.rows; h++)
    {
        for (int w = 0; w < srcimg.cols; w++)
        {
            float pix = segmentation_map.ptr<float>(h)[w * 2 + 1];
            if (pix > this->conf_threshold)
            {
                float b = (float)dstimg.at<Vec3b>(h, w)[0];
                dstimg.at<Vec3b>(h, w)[0] = uchar(b * 0.5 + 1);
                float g = (float)dstimg.at<Vec3b>(h, w)[1] + 255.0;
                dstimg.at<Vec3b>(h, w)[1] = uchar(g * 0.5 + 1);
                float r = (float)dstimg.at<Vec3b>(h, w)[2];
                dstimg.at<Vec3b>(h, w)[2] = uchar(r * 0.5 + 1);
            }
        }
    }
    return dstimg;
}

int main()
{
    //return 0;
    const int use_video = 1;
    pphuman_seg mynet;
    if (use_video)
    {
        cv::VideoCapture video_capture("/home/dell/CLionProjects/a.mp4");  ///也可以是视频文件
        if (!video_capture.isOpened())
        {
            std::cout << "Can not open video " << endl;
            return -1;
        }

        cv::Mat frame;
        while (video_capture.read(frame))
        {
            Mat dstimg = mynet.inference(frame);
            string kWinName = "Deep learning ONNXRuntime with pphuman seg";
            namedWindow(kWinName, WINDOW_NORMAL);
            imshow(kWinName, dstimg);
            waitKey(1);
        }
        destroyAllWindows();
    }
    else
    {
        string imgpath = "testimgs/1.jpg";
        Mat srcimg = imread(imgpath);
        Mat dstimg = mynet.inference(srcimg);

        namedWindow("srcimg", WINDOW_NORMAL);
        imshow("srcimg", srcimg);
        static const string kWinName = "Deep learning ONNXRuntime with pphuman seg";
        namedWindow(kWinName, WINDOW_NORMAL);
        imshow(kWinName, dstimg);
        waitKey(0);
        destroyAllWindows();
    }
}

CG

似乎 opencv 不支持具有动态输入形状的 onnx 模型，请查看此链接。尝试构建最新版本的 opencv。另外，请检查此链接 .已经提到对Yunet使用固定的输入形状。如果以前的建议不起作用，请使用以下方法。
如果您使用的是 tf2 并且您的权重是 .h5 形式，您将能够处理 onnx 麻烦 .您可以从 .h5 生成 .pb，然后在 C++ 中轻松使用 program.to 目标生成 .pb，使用以下代码：
之后，通过使用OpenCV，您将能够导入您的模型，然后享受！

在这里插入图片描述

opencv_sample-master

https://github.com/dlunion/tensorRTIntegrate

  • https://github.com/ttanzhiqiang/onnx_tensorrt_project
cmake_minimum_required(VERSION 3.15)
project(onnx)
set(CMAKE_CXX_STANDARD 14)

MESSAGE(STATUS "Project: onnx")              
find_package(OpenCV REQUIRED)
set(SOURCE_FILES main.cpp)
include_directories(${OpenCV_INCLUDE_DIRS})
include_directories("/home/dell/CLionProjects/onnxruntime-linux-x64-1.12.1/include")# https://blog.csdn.net/sinat_31608641/article/details/121736503

add_executable(onnx main.cpp)
target_link_libraries(onnx ${OpenCV_LIBS})
link_directories("/home/dell/CLionProjects/onnxruntime-linux-x64-1.12.1/lib")
- https://www.w3cschool.cn/doc_cmake_3_6/cmake_3_6-command-target_link_libraries.html
- https://www.cnblogs.com/stonemjl/articles/12668208.html
FakeOccupational
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
仅仅使用mmdeploy进行分割预测的程序（c++代码版）
07-17
【目标】: 通过提供一个简洁的C++代码示例，帮助开发者理解如何使用mmdeploy进行实例分割预测，加速模型在实际项目中的部署与应用，无需深入了解底层框架细节，即可实现高性能、低延迟的分割结果输出，满足专业级...
C++的字符串分割函数的使用详解
09-01
在C++编程中，处理字符串是一项常见的任务，而字符串分割是其中的重要操作。本文将详细介绍三种在C++中进行字符串分割的方法：strtok、STL（Standard Template Library）以及Boost库。 1. 使用`strtok`函数进行字符...
天空分割数据集+onnxruntime运行脚本
11-11
资源包含175张训练用数据，onnxruntime执行脚本。安装依赖后，可直接运行脚本，获取生成的结果。如若获取资源后无法执行，请私信。
C++使用onnxruntime/opencv对onnx模型进行推理(附代码)
热门推荐
qq_44747572的博客
11-22 2万+
文章目录0. onnx模型准备以及测试图1. c++使用onnxruntime进行推理2. c++使用opencv进行推理 0. onnx模型准备以及测试图 参考：https://blog.csdn.net/qq_44747572/article/details/120820964?spm=1001.2014.3001.5501 1. c++使用onnxruntime进行推理 #include <opencv2/core.hpp> #include <opencv2/imgcodecs.h
onnxruntime c++部署分割网络
zxxx66的博客
09-07 1200
#include <assert.h> #include #include <onnxruntime_cxx_api.h> #include <opencv2/opencv.hpp> using namespace cv; void PreProcess(const cv::Mat &image, cv::Mat &image_blob) { int scale = cv::max(image.rows, image.cols); /*cv::Mat i
ONNXRUNTUIME实例分割网络说明
ResumeProject的博客
02-18 724
initiate a env with an id name(使用id名称启动env)create session (创建会话 )
C++ Qt / VS2019 +opencv + onnxruntime 部署语义分割模型【经验】
shuaijieer的博客
09-01 4960
目前C++ 调用onnxruntime的示例主要为图像分类网络，与语义分割网络在后处理部分有很大不同。
C++实现文件分割与合并.rar
03-21
在IT领域，文件的分割与合并是常见的操作，特别是在大数据处理、网络传输和存储优化等方面。本项目聚焦于使用C++编程语言来实现这一功能。C++是一种强大的、通用的编程语言，它提供了丰富的库支持和高效的操作能力，...
基于C++的区域生长分割算法（单种子）设计与实现
05-13
基于C++的区域生长分割算法（单种子）设计与实现
基于lccp与边缘检测的三维点云分割方法c++源码(含项目使用说明+测试数据).zip
最新发布
05-14
基于lccp与边缘检测的三维点云分割方法c++源码(含项目使用说明+测试数据).zip【资源说明】 基于lccp与边缘检测的三维点云分割方法c++源码(含项目使用说明+测试数据).zip 主要内容：改善二维实例分割生成的点云，并...
C++环境下onnxruntime推理自定义模型
m0_57254760的博客
04-29 2304
代码是一个使用ONNX Runtime C++ API执行图像处理任务的示例，具体来说是通过一个预训练的U-Net模型（假设）对输入图像进行某种形式的语义分割
【OnnxRuntime】在linux下编译并安装C++版本的onnx-runtime
种一棵树最好的时间是十年前，其次是现在
07-31 6914
通过按照上述步骤，您应该能够在Linux上成功安装ONNX Runtime。请注意，安装过程中可能需要根据您的系统和需求进行适当的调整。// 首先创建一个conda环境，因为./build.sh实际上调用的是./tools/cl_build/build.py。这将使用所有可用的CPU核心进行编译。如果希望使用指定数量的核心，可以将$(nproc)替换为所需的核心数量。安装CMake：可以通过包管理器（如apt、yum等）安装CMake。安装C++编译器：确保系统中已安装C++编译器，如GCC或Clang。
ONNXRUNTINME的C++环境配置
chenyuan1111的博客
02-20 242
需要将dll放到项目文件夹下面的x64的release文件下才可以。
AI模型部署 | onnxruntime部署YOLOv8分割模型详细教程
DeepDriving
12-06 3527
本文首发于公众号【DeepDriving】，欢迎关注。
神经网络语义分割模型C++部署(VS2019+ONNXRuntime+OpenCV)
qq_19865329的博客
04-21 1万+
C++的API跑神经网络模型相比于Python可以得到数倍的提升 同时类似TensorRT会提供非常多的模型优化,比如int8推理 而且实际项目中一般考虑性能等各种因素也不会直接使用Python 而是会选择C++或者Java等 这次我在做项目中遇到了必须要用C++来做模型部署的问题，这里做个记录 我这次选择了ONNXRuntime这个框架做CPU推理 ONNXRuntime的GPU推理和TensorRT将在未来有空的时候进行跟进 另外本来我是想直接用Tensorflow的C++api，但是坑爹的是windo
使用Anomalib项目的padim无监督算法 进行自制工业缺陷数据集的模型训练和ONNX部署（三）——C++部署篇
m0_57315535的博客
07-16 3137
从项目的训练到源码解读，终于到了最后部署的阶段。这里我们使用Windows系统的C++部署作为示例，在Linux系统下的代码大同小异。本篇博客以C++代码为主，尽量少写字多写注释，读者可以自行动手实践。大项目到此结束了~撒花~从头到尾拉通一个项目对自己还是有一定的提升的。这里只实现了CPU对模型的推理和部署。抛砖引玉，GPU的加速以及GUI程序的编写留给同学们自己探索了。
人像分割PP-HumanSeg模型onnx C++ windows部署
AI爱好者的博客，分享计算机领域相关知识
03-06 6030
本文将PaddleSeg的人像分割（PP-HumanSeg）模型导出为onnx，并使用C++部署到windows，实现人像分割。 一、下载PaddleSeg git clone https://github.com/PaddlePaddle/PaddleSeg.git 二、下载模型 进入PP-HumanSeg目录，使用pip安装paddleseg库，并使用PaddleSeg提供的脚本下载预训练模型，该模型将用于后续导出为onnx。 %cd ~/PaddleSeg/c..
ONNX：C++通过onnxruntime使用.onnx模型进行前向计算【下载的onnxruntime是编译好的库文件，可直接使用】
u013250861的博客
11-13 8123
利用onnx和onnxruntime实现深度框架使用C++推理进行服务器部署，模型推理的性能是比python快很多的。
C++网络编程：NetBIOS与Winsock接口
"《C++网络编程》这本书深入讲解了C++在网络编程领域的应用，包括传统的网络接口NetBIOS、重定向器技术以及基于这些接口的网络通信方法。书中特别强调了API在不同网络协议中的作用，如Winsock。NetBIOS是一种与协议...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值