【解决---UFLD-v2--onnxruntime版本部署-ort_session->GetInputNameAllocated(i, allocator)】

项目场景:

在进行Ultra-Fast-Lane-Detection-v2车道线检测算法部署的过程中,由于使用了不同版本的onnxruntime,导致了某些函数无法使用,需要进行替换!!!

onnxruntime1.8.0 低版本的编译时候错误可能更少一些!!!


问题描述

error: ‘struct Ort::Session’ has no member named ‘GetInputNameAllocated

例如:数据传输过程中数据不时出现丢失的情况,偶尔会丢失一部分数据
APP 中接收数据代码:

/home/l/Ultra-Fast-Lane-Detection-v2-opencv-onnxrun-main/onnxruntime/main.cpp: In constructor ‘Ultra_Fast_Lane_Detection_v2::Ultra_Fast_Lane_Detection_v2(std::string):
/home/l/Ultra-Fast-Lane-Detection-v2-opencv-onnxrun-main/onnxruntime/main.cpp:105:39: error:struct Ort::Session’ has no member named ‘GetInputNameAllocated’
  105 |   auto temp_input_name = ort_session->GetInputNameAllocated(i, allocator);
      |                                       ^~~~~~~~~~~~~~~~~~~~~
/home/ls/Ultra-Fast-Lane-Detection-v2-opencv-onnxrun-main/onnxruntime/main.cpp:120:40: error:struct Ort::Session’ has no member named ‘GetOutputNameAllocated’
  120 |   auto temp_output_name = ort_session->GetOutputNameAllocated(i, allocator);
      |                                        ^~~~~~~~~~~~~~~~~~~~~~
make[2]: *** [CMakeFiles/UFLDV2.dir/build.make:76:CMakeFiles/UFLDV2.dir/main.cpp.o] 错误 1
make[1]: *** [CMakeFiles/Makefile2:83:CMakeFiles/UFLDV2.dir/all] 错误 2
make: *** [Makefile:91:all] 错误 2

原因分析:

由于安装了不同版本的onnxruntime,导致在模型部署的过程中有一定的小问题!!!


解决方案:

只需要找到对应版本的onnxruntime中拥有的函数既可以:

进行函数的替换

// 1.14.1
		auto temp_input_name = ort_session->GetInputNameAllocated(i, allocator);
		input_names.push_back(temp_input_name.get());

更换为:

//1.8.1
		input_names.push_back(ort_session->GetInputName(i, allocator));

还有还有:

		// 1.14.1
		auto temp_output_name = ort_session->GetOutputNameAllocated(i, allocator);
		std::cout << temp_output_name.get() << std::endl;
		output_names.push_back(temp_output_name.get());

更换为

// 1.8.1
		output_names.push_back(ort_session->GetOutputName(i, allocator));

欧克欧克,就这样就可以进行后续的操作了!!!

onnxruntime-gpu-c++是一个用于在GPU上运行模型的C++库,它支持使用ONNX格式的模型进行推理。下面是一个简单的部署步骤: 1. 安装CUDA和cuDNN onnxruntime-gpu-c++需要CUDA和cuDNN来加速模型推理。您需要安装与onnxruntime-gpu-c++版本兼容的CUDA和cuDNN。您可以从NVIDIA官方网站下载并安装这些软件。 2. 安装onnxruntime-gpu-c++ 您可以从onnxruntime-gpu-c++的GitHub仓库中下载源代码,并使用CMake生成库文件。在生成过程中,您需要指定CUDA和cuDNN的路径。 3. 加载模型 使用onnxruntime-gpu-c++加载ONNX格式的模型。您可以使用onnxruntime-cxx库中的API来加载模型并进行推理。以下是一个简单的示例代码: ```cpp #include <iostream> #include <vector> #include <chrono> #include <onnxruntime_cxx_api.h> int main() { Ort::SessionOptions session_options; Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::Session session(env, "model.onnx", session_options); Ort::AllocatorWithDefaultOptions allocator; Ort::Value input_tensor = Ort::Value::CreateTensor<float>(allocator, {1, 3, 224, 224}); float* input_tensor_data = input_tensor.GetTensorMutableData<float>(); // fill input tensor with data ... std::vector<const char*> input_names = {"input"}; std::vector<const char*> output_names = {"output"}; std::vector<int64_t> input_shape = {1, 3, 224, 224}; std::vector<float> output_data(1000); Ort::RunOptions run_options; Ort::TensorSlicer<float> input_tensor_slicer(input_tensor, input_shape); auto start_time = std::chrono::high_resolution_clock::now(); for (auto& slice : input_tensor_slicer) { Ort::Value input_tensor_slice = Ort::Value::CreateTensor<float>(allocator, slice.shape().data(), slice.shape().size(), slice.data(), slice.size()); Ort::Value output_tensor = session.Run(run_options, input_names.data(), &input_tensor_slice, 1, output_names.data(), 1); std::memcpy(output_data.data() + slice.offset(), output_tensor.GetTensorData<float>(), slice.size() * sizeof(float)); } auto end_time = std::chrono::high_resolution_clock::now(); std::cout << "Inference time: " << std::chrono::duration_cast<std::chrono::milliseconds>(end_time - start_time).count() << "ms" << std::endl; // process output data ... } ``` 在这个示例中,我们使用onnxruntime-gpu-c++加载了名为“model.onnx”的模型,并将输入数据填充到名为“input”的张量中。然后,我们运行了推理,并将输出数据存储在名为“output_data”的向量中。最后,我们对输出数据进行了处理。 4. 运行推理 在加载模型和填充输入数据后,您可以使用session.Run()方法运行推理。您需要指定输入和输出张量的名称,并将它们传递给session.Run()方法。 5. 处理输出 session.Run()方法将返回一个或多个输出张量。您可以使用GetTensorData()方法获取输出张量的数据,并对其进行处理。 这些是一个简单的onnxruntime-gpu-c++部署步骤。您可以根据具体情况进行适当的修改。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值