![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习模型部署
文章平均质量分 91
AIGC Studio
计算机专业研究生,人工智能领域优质创者者,研究计算机视觉、深度学习、图像生成、GAN、VAE、Stable Diffusion、Sora、AIGC视觉大模型等,有三维重建、VTK开发、点云处理和医学图像处理等开发经验。曾在滴滴,小米任职算法工程师。
展开
-
PyTorch模型安卓部署流程(NCNN)
如果我们想在手机端运行我们的深度学习模型需要怎么做呢?本文介绍了端侧深度学习模型部署流程(NCNN),在了解基本概念之后可以尝试运行NCNN官方demo实例,并根据自己需求进行改进,这样就可以在自己的手机上部署深度学习模型啦~原创 2023-07-16 10:01:20 · 9581 阅读 · 12 评论 -
PyTorch模型部署流程(ONNX Runtime)
模型部署指让训练好的深度学习模型在特定环境中运行的过程。模型部署会面临的难题:运行模型所需的环境难以配置。深度学习模型通常是由一些框架编写,比如 PyTorch、TensorFlow。由于框架规模、依赖环境限制,框架不适合在手机、开发板等生产环境中安装。模型部署不能靠简单的环境配置与安装完成。本文介绍目前模型部署比较流行的流水线:不同的模型先统一转换为onnx中间件再转到不同的推理引擎上进行推理。原创 2023-07-16 09:40:34 · 3182 阅读 · 0 评论 -
深度学习模型量化、剪枝、压缩
在开发机器学习应用程序时,有效利用服务器端和设备上的计算资源非常重要。为了支持在服务器和边缘设备上更高效的部署,模型量化是非常必要的,本文介绍了常见的量化方法和概念,并给出了不同量化方法的比较。原创 2023-07-16 09:33:58 · 519 阅读 · 0 评论 -
移动端深度学习部署:TFlite
tflite是谷歌自己的一个轻量级推理库。主要用于移动端。使用的思路主要是从预训练的模型转换为tflite模型文件,拿到移动端部署。源模型可以来自tensorflow的saved model或者frozen model,也可以来自keras。原创 2023-07-15 20:41:30 · 4541 阅读 · 0 评论