AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。

如果我们想在手机端运行我们的深度学习模型需要怎么做呢？本文介绍了端侧深度学习模型部署流程(NCNN),在了解基本概念之后可以尝试运行NCNN官方demo实例，并根据自己需求进行改进，这样就可以在自己的手机上部署深度学习模型啦~

模型部署指让训练好的深度学习模型在特定环境中运行的过程。模型部署会面临的难题：运行模型所需的环境难以配置。深度学习模型通常是由一些框架编写，比如 PyTorch、TensorFlow。由于框架规模、依赖环境限制，框架不适合在手机、开发板等生产环境中安装。模型部署不能靠简单的环境配置与安装完成。本文介绍目前模型部署比较流行的流水线：不同的模型先统一转换为onnx中间件再转到不同的推理引擎上进行推理。

在开发机器学习应用程序时，有效利用服务器端和设备上的计算资源非常重要。为了支持在服务器和边缘设备上更高效的部署，模型量化是非常必要的，本文介绍了常见的量化方法和概念，并给出了不同量化方法的比较。

tflite是谷歌自己的一个轻量级推理库。主要用于移动端。使用的思路主要是从预训练的模型转换为tflite模型文件，拿到移动端部署。源模型可以来自tensorflow的saved model或者frozen model,也可以来自keras。