应用部署
文章平均质量分 96
应用部署专栏
RyanC3
自律 坚持 前进
展开
-
C++部署深度学习模型
在部署大规模深度学习应用的时候,要想满足应用需求或者压榨模型的性能,C++可能是比python更好的选择方案。基于此,特地记录最近的C++的学习经历。其实以终为始来思考为什么学习C++,首先是为了能够很好地提升模型的性能,满足应用场景中的高可用,高并发,低时延等要求。为了提升模型的性能,需要用到一些推理框架,如TensorRT、NCNN或者Openvino(本文中以TensorRT作为案例)。TensorRT在8.0以上的版本都支持Python的API了,但还是有必要学习C++。ONNX模型转换和优化。..原创 2022-07-24 16:10:12 · 7643 阅读 · 1 评论 -
模型部署 利用Tensorflow Serving部署模型
使用Tensorflow框架训练好模型后,想把模型部署到生产环境可以使用进行部署。原创 2022-06-20 22:10:08 · 1890 阅读 · 0 评论 -
模型部署 ONNX模型转换说明
模型转换ONNXpytorch模型转换ONNX模型torch.onnxtorch.onnx.export(model, args, f, export_params, verbose=False, training= False)#Function to Convert to ONNX def Convert_ONNX(): # set the model to inference mode model.eval() # Let's create a dummy原创 2021-09-18 17:23:49 · 3287 阅读 · 0 评论 -
深度学习应用部署
多线程多进程基本概念并发与并行并发:在操作系统中,是指一个时间段中有几个程序都处于已启动运行到运行完毕之间,且这几个程序都是在同一个处理机上运行,但任一时刻点上只有一个程序在处理机上运行。例如吃饭的时候打电话,你只能吃完一口饭,再说一句话,再吃一口饭,再说一句话,并发说明你有处理多个任务的能力,不一定要同时。并行:指的是系统具有同时处理多个任务的能力。例如上面的吃饭打电话的例子,你可以一边吃饭一边说话。同步与异步同步和异步关注的是消息通信机制。同步就是调用消息,调用方必须等到这个消息返回原创 2021-09-19 09:43:25 · 1158 阅读 · 0 评论