[onnxruntime]windows上C++ onnxruntime配置vs2022和简单测试

代码终究输给规则

已于 2024-10-21 17:37:06 修改

阅读量3.3k

点赞数 14

分类专栏： C++ 文章标签： windows c++ 开发语言

于 2024-10-21 17:34:37 首次发布

本文链接：https://blog.csdn.net/futureflsl/article/details/143117942

版权

C++ 专栏收录该内容

1 篇文章

订阅专栏

安装onnxruntime

去官方下载自己匹配cuda版本onnxruntime，根据自己的情况选择合适的版本，如果下载慢或者下载不下来可以去国内镜像下载gitee.com/FIRC/onnxruntime_mirror

博主的cuda版本是11.8，cudnn版本是8.9.7，因此选择OnnxRuntime v1.15.0版本。

cmd命令框下输入nvcc -V 查询cuda版本;
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vxx.x\include\cudnn_version.h 查看cuda版本.

在assert下选择onnxruntime-win-x64-gpu-1.15.0.zip下载

双击运行解压后即可：

打开VS 2019：新建新项目---->空项目---->配置项目---->项目路径以及勾选“将解决方案和项目放在同一目录中---->点击创建。
在解决方案–>源文件–>右键添加新建项。这里暂时可以默认空着不做处理。

配置onnxruntime：项目---->属性。假设没有新建cpp文件，空项目的属性页就不会存在C/C++这一项目。

添加附加包含目录：Release | x64---->C/C+±—>常规---->附加包含目录。

D:\C++_demo\onnxruntime-win-x64-gpu-1.15.0\include

链接器：Release | x64---->链接器---->常规---->附加库目录。

D:\C++_demo\onnxruntime-win-x64-gpu-1.15.0\lib

链接器：Release | x64---->链接器---->输入---->附加依赖项。

在D:\C++_demo\onnxruntime-win-x64-gpu-1.15.0\lib下找到附加依赖项的文件(.lib文件)。

onnxruntime.lib
onnxruntime_providers_cuda.lib
onnxruntime_providers_shared.lib

安装OpenCV

使用opencv-4.8.0-windows.exe版本

双击运行解压后即可，博主重命名为opencv4.8.0：

添加附加包含目录：Release | x64---->C/C++—>常规---->附加包含目录。

D:\C++_demo\opencv4.8.0\build\include

链接器：Release | x64---->链接器---->常规---->附加库目录。

D:\C++_demo\opencv4.8.0\build\x64\vc16\lib

链接器：Release | x64---->链接器---->输入---->附加依赖项。

opencv_world480.lib

简化部署

在Release x64模式下测试时，需要将OnnxRuntime所需的.dll文件，以及OpenCV的.dll文件复制到自己项目的Release下。

D:\C++_demo\onnxruntime-win-x64-gpu-1.15.0\lib
D:\C++_demo\opencv4.8.0\build\x64\vc16\bin
===>
D:\C++_demo\onnxruntime_onnx\x64\Release

没有Release目录时，需要在Release | x64模式下运行一遍代码，代码部分在下面提供，读者可以先行新建文件复制代码。

将所有的.dll文件和.exe文件放在同一个目录下可以简化应用程序的部署过程。用户无需手动配置环境变量或安装额外的组件即可运行程序。

ONNXRuntime调用onnx模型

ONNXRuntime推理核心流程

初始化ONNXRuntime环境
通常涉及到创建一个 Ort::Env 对象，它包含了线程池和其他运行时设置。

Ort::Env env = Ort::Env(ORT_LOGGING_LEVEL_ERROR, "AlexNet-onnx");

Ort::Env参数	日志严重性级别 (logging severity level)	环境名称 (environment name)
作用	决定了哪些级别的日志信息将被记录下来，运行时提供了几个预定义的宏来表示不同的日志级别。	主要用于标识特定的环境实例，尤其是在多线程或多进程环境中可以帮助追踪日志信息来源。
内容	ORT_LOGGING_LEVEL_FATAL：仅记录致命错误；ORT_LOGGING_LEVEL_ERROR：记录错误信息；ORT_LOGGING_LEVEL_WARNING：记录警告信息；ORT_LOGGING_LEVEL_INFO：记录信息性消息；ORT_LOGGING_LEVEL_VERBOSE：记录详细的信息，包括调试信息。	字符串

设置会话选项
通常包括配置优化器级别、线程数和设备(GPU/CPU)使用等。

Ort::SessionOptions session_options;
session_options.SetGraphOptimizationLevel(ORT_ENABLE_BASIC);
session_options.SetIntraOpNumThreads(4); 
OrtSessionOptionsAppendExecutionProvider_CUDA(session_options, 0);
OrtSessionOptionsAppendExecutionProvider_CPU(session_options, 1);

会换选项	优化器级别	线程数	设备使用
函数	SetGraphOptimizationLevel	SetIntraOpNumThreads	SetExecutionMode
作用	在模型加载到ONNXRuntime之前对其进行图优化的过程，提高执行效率	设置每个运算符内部执行时的最大线程数	CUDA/CPU设备选择，CUDA优先级设为0，CPU优先级设为1，优先尝试使用CUDA执行。
参数	ORT_ENABLE_BASIC:基本的图优化； ORT_DISABLE_ALL:禁用所有优化；ORT_ENABLE_EXTENDED:启用扩展优化；ORT_ENABLE_ALL:启用所有优化。	整型	session_options:用于配置会话选项; 整型:优先级值，数值越低优先级越高。

加载模型并创建会话
加载预训练的ONNX模型文件，使用运行时环境、会话选项和模型创建一个Ort::Session对象。

Ort::Session session_(env, modelPath.c_str(), session_options);

Ort::Session参数	Ort::Env	model_path	session_options
内容	ONNX 运行时环境对象	模型的位置或者模型的二进制数据	会话选项

获取模型输入输出信息
从Ort::Session对象中获取模型输入和输出的详细信息，包括数量、名称、类型和形状。

Ort::AllocatorWithDefaultOptions allocator;
int input_nodes_num = session_.GetInputCount();
int output_nodes_num = session_.GetOutputCount();
auto input_name = session_.GetInputNameAllocated(i, allocator);
auto output_name = session_.GetOutputNameAllocated(i, allocator);
session_.GetInputTypeInfo(i).GetTensorTypeAndShapeInfo().GetShape();
session_.GetOutputTypeInfo(i).GetTensorTypeAndShapeInfo().GetShape();

预处理输入数据
对输入数据进行颜色空间转换，尺寸缩放、标准化以及形状维度扩展操作。

cv::cvtColor(image, rgb, cv::COLOR_BGR2RGB);
cv::resize(rgb, blob, cv::Size(input_w, input_h));
blob.convertTo(blob, CV_32F);
blob = blob / 255.0;
cv::subtract(blob, cv::Scalar(0.485, 0.456, 0.406), blob);
cv::divide(blob, cv::Scalar(0.229, 0.224, 0.225), blob);
cv::Mat timg = cv::dnn::blobFromImage(blob);

这部分不是OnnxRuntime核心部分，根据任务需求不同，代码略微不同。

推理准备
创建输入和输出张量，这些张量是用于存储推理数据的内存块，分配内存给这些张量，以准备数据输入。

std::array<int64_t, 4> input_shape_info{ 1, 3, input_h, input_w };
auto allocator_info = Ort::MemoryInfo::CreateCpu(OrtDeviceAllocator, OrtMemTypeCPU);
Ort::Value input_tensor_ = Ort::Value::CreateTensor<float>(allocator_info, timg.ptr<float>(), tpixels, input_shape_info.data(), input_shape_info.size());

函数	Ort::MemoryInfo::CreateCpu	Ort::Value::CreateTensor
作用	ONNX Runtime运行一个模型时，用于描述内存分配的信息，包括内存的位置(CPU 或 GPU)以及内存的具体类型(固定内存或常规内存)	封装了张量数据，可以作为模型推理的输入或输出。
参数1	OrtDeviceAllocator:默认的分配器类型，它用于分配设备(CPU或GPU)上的内存；OrtArenaAllocator:使用内存池来分配内存，可以减少内存分配和释放的开销，提高内存操作的效率；OrtCustomAllocator:自定义内存分配器。	用于分配和管理张量数据的内存。
参数2	OrtMemTypeCPUInput:表示任何非CPU使用的CPU内存，用于模型的输入，数据将由非CPU执行器(GPU)使用；OrtMemTypeCPUOutput: 由非CPU输出的、CPU可访问的内存，用于模型的输出，确保数据在CPU上可用；OrtMemTypeCPU:通常与 OrtMemTypeCPUOutput 相同，指CPU可访问的内存;OrtMemTypeDefault:表示执行器的默认内存分配器,用于分配内存时没有特别指定其他类型时使用。	张量的形状
参数3	-----	张量的大小
参数4	-----	张量的指针
参数6	-----	张量的维度数
参数3	-----	张量的数据类型

执行推理
调用Ort::Session::Run方法，传入输入张量、输出张量和其他必要的参数，执行推理。

ort_outputs = session_.Run(Ort::RunOptions{ nullptr }, inputNames.data(), &input_tensor_, 1, outNames.data(), outNames.size());

session_.Run参数	run_options	input_names	input_values	input_count	output_names	output_count
含义	是否进行性能分析、是否仅执行到达特定输出的最小子图等，通常是默配置。	输入节点名称数组	用于存储模型的输入数据Ort::Value	输入数量	输出节点名称数组	输出数量

后处理推理结果
推理完成后，从输出张量中获取结果数据，根据需要对结果进行后处理，以获得最终的预测结果。

const float* pdata = ort_outputs[0].GetTensorMutableData<float>();
cv::Mat prob(num, nc, CV_32F, (float*)pdata);
cv::minMaxLoc(prob, &minv, &maxv, &minL, &maxL);

这部分不是OnnxRuntime核心部分，根据任务需求不同，代码基本不同。

ONNXRuntime推理测试代码，可以随便找个onnx模型

 
#include <iostream>
#include<onnxruntime_cxx_api.h>
using namespace std;
using namespace Ort;
int main()
{
 
    const wchar_t* model_path = L"D:\\yolov8s.onnx";//模型路径
    Ort::Env env;//创建env
    Ort::Session session(nullptr);//创建一个空会话
    Ort::SessionOptions sessionOptions{ nullptr };//创建会话配置
    session = Ort::Session(env, model_path, sessionOptions);
 
    //获取输入节点数量，名称和shape
 
    size_t inputNodeCount= session.GetInputCount();
    std::cout << "输入节点数量:" << inputNodeCount << "\n";
 
    Ort::AllocatorWithDefaultOptions allocator;
 
    std::shared_ptr<char> inputName = std::move(session.GetInputNameAllocated(0, allocator));
    std::vector<char*> inputNodeNames;
    inputNodeNames.push_back(inputName.get());
    std::cout << "输入节点名称:" << inputName << "\n";
 
 
    Ort::TypeInfo inputTypeInfo = session.GetInputTypeInfo(0);
    auto input_tensor_info = inputTypeInfo.GetTensorTypeAndShapeInfo();
    ONNXTensorElementDataType inputNodeDataType = input_tensor_info.GetElementType();
    std::vector<int64_t> inputTensorShape = input_tensor_info.GetShape();
    std::cout << "输入节点shape:";
    for (int i = 0; i<inputTensorShape.size(); i++)
    {
        std::cout << inputTensorShape[i]<<" ";
    }
    std::cout << "\n";
 
 
    //获取输出节点数量、名称和shape
    size_t outputNodeCount = session.GetOutputCount();
    std::cout << "输出节点数量:" << outputNodeCount << "\n";
 
    std::shared_ptr<char> outputName = std::move(session.GetOutputNameAllocated(0, allocator));
    std::vector<char*> outputNodeNames;
    outputNodeNames.push_back(outputName.get());
    std::cout << "输出节点名称:" << outputName << "\n";
 
 
    Ort::TypeInfo type_info_output0(nullptr);
    type_info_output0 = session.GetOutputTypeInfo(0);  //output0
 
    auto tensor_info_output0 = type_info_output0.GetTensorTypeAndShapeInfo();
    ONNXTensorElementDataType outputNodeDataType = tensor_info_output0.GetElementType();
    std::vector<int64_t> outputTensorShape = tensor_info_output0.GetShape();
    std::cout << "输出节点shape:";
    for (int i = 0; i<outputTensorShape.size(); i++)
    {
        std::cout << outputTensorShape[i]<<" ";
    }
    std::cout << "\n";
	getchar();
}