Python DenseNet OpenVino导出

tacom_

于 2024-08-04 23:09:21 发布

阅读量249

点赞数 10

文章标签： python openvino 开发语言

本文链接：https://blog.csdn.net/qq_34524246/article/details/140913587

版权

Python OpenVino导出

什么是OpenVino

这里直接贴一下官方的说明:

OpenVINO™ 工具套件是一款开源工具套件，可以缩短延迟，提高吞吐量，加速 AI 推理过程，同时保持精度，缩小模型占用空间，优化硬件使用。它简化了计算机视觉、大型语言模型 (LLM) 和生成式 AI 等领域的 AI 开发和深度学习集成。

我们可以简单的理解：

intel提供了一个方法，帮助你降低使用AI模型的门槛
降低系统硬件的需求：通常AI模型使用GPU但是对于大多数场景，GPU是一个比较奢侈的东西，但常规的Tensorflow、Pytorch在CPU上直接跑，只能达到一个能用水平
方便集成：通常AI在Python上是无缝全栈，但是大多数业务系统可不是用CPP开发的，需要有框架进行中转
等等

导出代码

直接通过Pytorch转换，会在输入输出上产生一定歧义，但不影响使用，推荐直接写死输入形状，减少后续其他语言部署时产生的麻烦

本教程属于一个示例教程，所以不详细讲解导出的参数，由于AI框架更新较快，如果看到教程时间比较长了，请查看官方说明文档

最终会产生export_dense121_cpu.xml以及export_dense121_cpu.bin两个文件，跟GLTF一样，一个是描述文件，一个是二进制内容，注意Intel框架转换的模型是跨平台的, 所以在后续执行的时候需要进行Compile，也就是所谓的初始化时间比较长

# encoding=utf-8
# https://docs.openvino.ai/2024/openvino-workflow/model-preparation/convert-model-pytorch.html

import torch
import torch.nn as nn
from torchvision import models
import openvino as ov

model = models.densenet121(pretrained=True)
model.classifier = nn.Linear(model.classifier.in_features, 5)
model.load_state_dict(torch.load("state.pth"))
model.eval()

# convert from pytorch
print("ov version", ov.get_version())
ov_model = ov.convert_model(model,
                            example_input=torch.rand(1, 3, 224, 224),
                            input=("x", [1, 3, 224, 224]),
                            verbose=True)
ov.save_model(ov_model, "export_dense121_cpu.xml", compress_to_fp16=False)
# ov.serialize(ov_model, bin_path="export_dense121_cpu.bin", xml_path="export_dense121_cpu.xml")