Cpp DenseNet OpenVino导出

Cpp OpenVino导出

Python版本导引

模型导出

就算集成到Cpp中,我们仍然需要在Python的开发流程中完成导出以及测试,这部分的代码和Python版本没有什么特别大的区别,如果看过本人文章的Python版本,可以跳过

# encoding=utf-8
# https://docs.openvino.ai/2024/openvino-workflow/model-preparation/convert-model-pytorch.html

import torch
import torch.nn as nn
from torchvision import models
import openvino as ov

model = models.densenet121(pretrained=True)
model.classifier = nn.Linear(model.classifier.in_features, 5)
model.load_state_dict(torch.load("state.pth"))
model.eval()

# convert from pytorch
print("ov version", ov.get_version())
ov_model = ov.convert_model(model,
                            example_input=torch.rand(1, 3, 224, 224),
                            input=("x", [1, 3, 224, 224]),
                            verbose=True)
ov.save_model(ov_model, "export_dense121_cpu.xml", compress_to_fp16=False)
# ov.serialize(ov_model, bin_path="export_dense121_cpu.bin", xml_path="export_dense121_cpu.xml")
  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
OpenVINO是Intel开发的基于Intel设备的推理引擎,可以利用CPU发挥最好的性能,还能使用到新款CPU所提供的NN算力。下面是OpenVINO推理的一些步骤和方法: 1. 首先,需要将模型转换为OpenVINO支持的IR格式。可以使用OpenVINO提供的Model Optimizer工具进行转换。 2. 接下来,需要加载IR模型并创建推理引擎。可以使用Inference Engine API来完成这些操作。 3. 在创建推理引擎后,需要创建推理请求并设置输入数据。可以使用Inference Engine API中的InferRequest类来完成这些操作。 4. 推理请求创建完成后,可以使用InferRequest类的Infer()方法来执行推理操作。 下面是一个使用OpenVINO进行推理的C++代码示例: ```cpp #include <inference_engine.hpp> using namespace InferenceEngine; int main() { // 加载IR模型并创建推理引擎 Core core; CNNNetwork network = core.ReadNetwork("model.xml", "model.bin"); ExecutableNetwork executable_network = core.LoadNetwork(network, "CPU"); // 创建推理请求并设置输入数据 InferRequest infer_request = executable_network.CreateInferRequest(); Blob::Ptr input_blob = infer_request.GetBlob("input"); float* input_data = input_blob->buffer().as<float*>(); // 设置输入数据 // ... // 执行推理操作 infer_request.Infer(); // 获取输出数据 Blob::Ptr output_blob = infer_request.GetBlob("output"); float* output_data = output_blob->buffer().as<float*>(); // 处理输出数据 // ... return 0; } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值