如何将Pytorch生成的模型进行CPU部署

最新推荐文章于 2024-07-14 11:23:15 发布

Einstellung

最新推荐文章于 2024-07-14 11:23:15 发布

阅读量4.1k

点赞数 10

分类专栏： OpenVINO 文章标签： OpenVINO PyTorch 神经网络

本文链接：https://blog.csdn.net/Einstellung/article/details/105508267

版权

本文介绍了如何使用OpenVINO工具箱将PyTorch训练的模型部署到CPU，并加速推理。首先，需将.pth模型转换为ONNX格式，再通过OpenVINO的模型优化器（MO）将ONNX模型转换为.bin和.xml文件，以供OpenVINO使用。在转换过程中，需注意模型保存和.eval()的使用，以及OpenVINO支持的网络层。

摘要由CSDN通过智能技术生成

我们使用Pytorch深度学习框架训练好模型通常保存为.pth文件，但这种网络文件结构通常只在实验验证或者网络学习时使用。如果你做好了一个网络，想要将其部署在终端，或者想要加速其推理速度，可能需要其他专门的框架来帮助其部署。

本文介绍英特尔公司开发的OpenVINO工具箱，用其来进行Pytorch生成模型的部署和加速。

OpenVINO介绍

OpenVINO是英特尔公司开发的基于卷积神经网络（CNN）的深度学习推理加速工具箱。它能使英特尔公司硬件，最大化提高深度学习计算性能。因此，当将深度学习模型部署到CPU端时，可以利用OpenVINO工具箱进行部署，提高深度学习模型推理速度。

OpenVINO的安装可以见官网，从里面就可以下载安装。下面这是指向链接。需要注意的是，如果你在Windows平台安装的话，需要同时安装Visual Studio2015或2017的c++环境，此外还需要安装Python和Cmake工具。关于Python和Cmake都可以在对应官网上下载安装。安装Python和Cmake的时候，需要注意应当将其添加到环境变量中，否则可能在安装OpenVINO是会出一些错误。

OpenVINO官网
 OpenVINO安装指导教程