![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模型部署
shelleyHLX
这个作者很懒,什么都没留下…
展开
-
深度学习模型部署浅析
关于模型部署可能有很多种概念或者解释。根据看的一些文献和接触的一些开源工具,进行梳理。模型部署说到底,就是通信传输,以及平台存储打通,以及任务的定时工作(定时工作可能偏向于调度了)。1. 模型部署的抽象理解1.1 模型导出对于新训练完的模型进行通信传输(磁盘io或者网络io),这里可以考虑类似于k8或者hdfs这些大数据或者云计算的工具,将模型存储于分布式环境,即模型从内存 ---> 缓存端(hdfs或其他s3等介质中,甚至说是磁盘)1.2 模型文件传输系统部署..转载 2020-12-22 09:25:37 · 2702 阅读 · 0 评论 -
onnxruntime模型部署流程
一、将训练好的模型转换格式为ONNX格式例如pytorch模型转换:def torch2onnx(model, save_path): """ :param model: :param save_path: XXX/XXX.onnx :return: """ model.eval() data = torch.rand(1, 3, 224, 224) input_names = ["input"] output_na...转载 2020-12-22 09:13:31 · 1969 阅读 · 1 评论 -
使用C++调用pytorch模型(Linux)
前言模型转换思路通常为:Pytorch -> ONNX -> TensorRT Pytorch -> ONNX -> TVM Pytorch ->转换工具-> caffe Pytorch -> torchscript(C++版本Torch)我的模型是使用Pytorch1.0训练的,第三种方法应该是还不支持,没有对应层名字, 放弃. (以下是用方法3生成的网络结构图, 其中部分层名字和工具对应不上).因此本文使用第4中方法,详细步骤分两步, 具..转载 2020-12-17 13:50:36 · 1460 阅读 · 0 评论