OpenVINO IR与 ONNX模型加载速度的对比与实现

最新推荐文章于 2025-03-12 00:31:53 发布

Arya算法笔记

最新推荐文章于 2025-03-12 00:31:53 发布

阅读量2.3k

点赞数 19

分类专栏： opencv c++ 文章标签： openvino 人工智能

本文链接：https://blog.csdn.net/ARYAD/article/details/135153846

版权

opencv c++ 专栏收录该内容

3 篇文章

订阅专栏

模型加载速度区别

模型加载速度的快慢通常取决于多个因素，包括模型格式、模型的大小和复杂性、使用的框架以及底层硬件。关于 OpenVINO IR (.xml/.bin) 和 ONNX 格式在模型加载上的对比，以下是一些主要考虑因素：

优化和兼容性：
- OpenVINO IR： OpenVINO Toolkit 专为 Intel 架构优化，可以提供针对 Intel CPU、GPU、VPU 等的特定优化。IR 格式是为了与 OpenVINO 兼容和优化而设计的，可以更好地利用 Intel 硬件的特性。
- ONNX： ONNX 是一个开放格式，用于在不同的深度学习框架之间移植模型。虽然它在不同框架之间提供了良好的兼容性，但它可能不会针对特定硬件进行优化。
加载时间：
- 加载模型的时间不仅取决于模型的格式，还受到底层解析和编译过程的影响。OpenVINO 在将模型转换为 IR 格式时进行了优化，这可能在加载时提供速度上的优势。
- 使用 ONNX 格式时，模型加载速度可能受限于框架对 ONNX 的支持和解析效率。
运行时推理性能：
- OpenVINO IR 格式的模型在推理时可能表现更佳，尤其是在 Intel 硬件上，因为 OpenVINO 会针对这些硬件进行特定的优化。
- ONNX 模型在不同框架下的推理性能可能因框架的实现和优化水平而异。
硬件依赖性：
- 如果您使用的是 Intel 的硬件，特别是 CPU 或 Movidius VPU，使用 OpenVINO IR 格式可能会提供更好的性能。
- 对于非 Intel 硬件，ONNX 可能是一个更通用的选择，尽管可能需要额外的优化以实现最佳性能。

总之，如果您在 Intel 硬件上进行模型部署，使用 OpenVINO IR 格式可能会在模型加载和运行时推理上提供性能上的优势。这是因为 OpenVINO 对 Intel 硬件有针对性的优化。而在非特定于 Intel 的硬件或需要跨框架兼容性的情况下，ONNX 可能是一个更灵活的选择。

整体部署代码实现

window
onnx版：pth——onnx——C++部署onnx
IR版：pth——onnx——xml/bin——C++部署xml

onnx版

pth转化为onnx（python版）

import torch
import torch.onnx
import os.path as osp
import numpy as np
import onnx
import onnxruntime as ort
import torchvision
checkpoint_path = "model.pth"
model = Yourmodel(10, 2, 12)
model_dict = model.load_state_dict(torch.load(checkpoint_path))  # 获取自定义模型的参数字典
model.eval()
dummy_input = torch.randn(1,3,256,256)
onnx_path = 'model.onnx'
torch.onnx.export(model,
                  (dummy_input, class_code),
                  onnx_path,
                  verbose = True,
                  opset_version=10,
                  input_names='input',
                  output_names="output"   
                  )
print(f"ONNX模型已保存")

onnx部署（C++版）

void loadModel(const std::string& onnxModelPath) {
    // 仅在模型未加载时加载模型
    if (!model) {
        model = core.read_model(onnxModelPath);
        compiled_model = core.compile_model(model, "CPU");
        std::cout << "ONNX 模型已加载" << std::endl;
    }
    else {
        std::cout << "ONNX 模型已经加载，无需再次加载" << std::endl;
    }
}

int main() {
    auto start_time = std::chrono::high_resolution_clock::now();
    string onnxModelPath = "model.onnx";

    // 打印推理时间
    loadModel(onnxModelPath);
    auto end_time = std::chrono::high_resolution_clock::now();
    auto duration = std::chrono::duration_cast<std::chrono::milliseconds>(end_time - start_time);

    std::cout << "模型加载时间: " << duration.count() << " 毫秒" << std::endl;
    return 0;
}