用OpenVINO编译深度学习模型运行于NCS2上

最新推荐文章于 2024-09-13 10:27:31 发布

scarvito

最新推荐文章于 2024-09-13 10:27:31 发布

阅读量719

点赞数

分类专栏： OpenVINO 文章标签： intel myriad 深度学习 deep learning

本文链接：https://blog.csdn.net/weixin_43905462/article/details/109510086

版权

本文记录了在Win10环境下，利用OpenVINO工具链将PyTorch的ResNet-18模型优化并转换为XML和BIN文件，然后在Intel NCS2设备上部署的过程。内容包括模型优化、测试程序编写及算力验证。

摘要由CSDN通过智能技术生成

前言

尝试在Win10平台上，使用OpenVINO工具链将深度学习模型编译后，部署在Intel NCS2上运行测试算力，初步测试主机端为X86。
这里已经配置好了OpenVINO的环境，并跑通了Demo程序。
参考文献：OpenVINO官方文档

本文作为工作记录

一、部署流程

将训练好的模型文件（如TensorFlow, Caffe等），使用OpenVINO的Model Optimizer工具优化导出为.xml模型结构描述文件和.bin模型参数文件，然后再通过APP调用相应API运行模型（有C++、Python等API）

部署流程

二、部署步骤

这里忽略训练过程，可任意实现。

1.模型优化并导出为xml和bin文件

1.1 PyTorch

测试使用ResNet-18, 输入为(3, 224, 224)的图片，输出为1000个标签的分类结果；

第一步

下面用python代码加载模型文件，并导出为ONNX文件

import torchvision.datasets as datasets
import torchvision.models as models
import torchvision.transforms as transforms
import torch
from glob import glob
from PIL import Image
import numpy as np
import os

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
# Load Network
resnet18 = models.resnet18(pretrained=False)
resnet18.to(device=device)
resnet18.load_state_dict(torch.load('resnet18-5c106cde.pth', map_location=device))   

dummy_input =