如何在c++平台上部署pytorch模型?
pytorch接口简单灵活,深受深度学习研究者的喜爱,不少论文及github上的开源代码是用pytorch写的,那么,训练完pytorch模型后,部署到c++平台上,着实让不少人头疼.好在,pytorch开放了libtorch c++接口,至此,caffe, mxnet, tensorflow, pytorch均完善了python以及c++接口,无论是在PC端,还是在移动端,均可满足大多数人的训练和模型部署需求.
深度学习框架趋于大同的情况下,需要耐心对各框架熟悉.将pytorch c++部署简述如下:
先提一件事情,除了使用libtorch外,确实有很多部署的方法,例如如下:
(1)pytorch模型转为tensorflow模型,利用tensorflow c++等进行部署;
(2)pytorch模型转为onnx模型,利用其他支持onnx的框架进行部署;
(3)pytorch模型转为tensor rt模型,利用tensorrt进行部署等;
诚然,可以,然而不是最好,缺点如下:
(1)有种逃避困难的嫌疑,走捷径固然好,但是不深入;
(2)各种框架间兼容的情况(eg. operator等)并不好,自己的框架自己最清楚;
(3)你给自己挖了另外一个坑.
借鉴:https://blog.csdn.net/seasermy/article/details/99677789