模型部署
文章平均质量分 89
深度学习模型的各种部署方式
Mr.RottenPeach
所谓无底深渊,下去,也是前程万里、
展开
-
ResNet50 转 TRT
torch2trt原创 2022-07-09 12:16:22 · 725 阅读 · 0 评论 -
TF-Lite极简参考-模型转换
TF-Lite极简参考-模型转换《TF-Lite极简参考-模型转换》 TensorFlow Lite 可以很方便的把基于TensorFlow训练的模型进行转换,然后推理,在TensorFlow2.0中,keras被全面整合,可以使用tf.keras来更高效的构建模型,尽管前几天爆出TensorFlow2.0惊现大bug,并且一直被吐槽难用,但是受众依然很广,如果不用太多自定义的层,还是很稳定的。我大概是从TensorFlow 0.10版本开始用的,追了很久,也成功在服务端落地过很多OCR项目。原创 2020-07-20 17:45:27 · 7295 阅读 · 0 评论 -
TF-Lite极简参考-环境搭建
TF-Lite极简参考-环境搭建《TF-Lite极简参考-环境搭建》 Tensowflow Lite 是移动端计算机视觉应用程序中的明星产品,同为Google研发的产品,由于其和安卓的深度契合,使该框架受众很广,谷歌也基于TF Lite开发了很多应用,Mediapipe也是其中之一,非常推荐。本文记录了如何在Ubuntu系统以及RK3399以及Jetson系列产品如何搭建TF Lite环境。Key Words:TF lite、Cpp环境搭建 Beijing, 2020作者:RaySu原创 2020-07-18 16:39:56 · 1190 阅读 · 0 评论 -
简记docker用法
《简记docker用法》 2019年,第一次使用 docker 做算法的服务端部署工作,整体感觉很流畅,很方便,可以很快的进行多节点部署,不用担心环境问题。时间真快,转眼2021年了。工作再次涉及到 docker,这里简单记录一下 docker 的用法。整理笔记是个对自己和他人都有益的事情,我会一直坚持。时光是一指流沙,苍老是一段年华。时间抓不住,也留不下。记忆只是脑海中的片段,再怎么拼凑也不及一篇当时精心整理的博文,从此刻开始留下你的足迹吧,希望看到此文的小伙伴也能开始写博客,赠人玫瑰手有余香。.原创 2021-01-11 22:33:32 · 196 阅读 · 0 评论 -
TensorRT模型转换程序及用法
《TensorRT模型转换程序及用法》 之前做项目总结到另一个博客的文章,文章可以作为参考直接拿来使用,但是中间的问题可能还需要自己解决,比如不同的层可能不支持,我在pytorch转onnx,onnx再转TRT的时候就存在一个问题,不能够进行广播操作,所以我就只能退而求其次,利用固定值的深度可分离的1x1卷积了,这是我在TRT 5.1.5.0 遇到的。转化程序是TensorRT源码里面提供的。Key Words:模型转换、onnx->TRT、caffe->TRT、 Beiji.原创 2020-12-11 11:21:36 · 6677 阅读 · 2 评论 -
vulkan 利用GPU加速ENet
《vulkan 利用GPU加速ENet》 Vulkan是一个跨平台的2D和3D绘图应用程序接口是做高性能图像渲染的,可以使用GPU对图像渲染进行性能优化,ncnn提供了使用vulkan的接口,可以vulkan来使用GPU对模型推理进行加速。具体做法是使用caffe训练ENet模型,然后转为ncnn,caffe 代码地址:https://github.com/TimoSaemann/ENetKey Words:ncnn、vulkan、加速ENet Beijing, 2020作者:RayS.原创 2020-11-25 18:25:58 · 5827 阅读 · 4 评论