链接1:https://www.bilibili.com/read/cv4691966/
链接2:https://www.it610.com/article/1280413423120695296.htm
模型优化也就是深度学习推理框架,现在有很多,比如:
阿里的mnn
腾讯的ncnn
NVIDIA的TensorRT
Intel的OpenVINO
等等。。。
它们都是帮助我们部署的工程技术,通常我们用python在GPU训练机上训练出来的模型都很大,要想在嵌入式设备上部署就需要这些推理工具,此外为了进一步提高推理效率,一般都会改用c++来调用这些被优化好的模型。在这里我们先会介绍一下TensorRT,然后详细讲解一下NCNN的详细安装,配置和使用过程。
TensorRT
它是针对英伟达显卡的加速推理框架,目前来讲只针对nvidia GPU,也是支持算子最多的框架,所以对于只有CPU的嵌入式设备来说就不适用了。
详细的安装过程请看官网:https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html
NCNN
它是腾讯开发的一款推理框架,使用比较方便,跨平台,也可在手机设备上部署。安装教程官网在这里:https://github.com/Tencent/ncnn
下边提供了本人在实践过程中的详细步骤和模板代码配置文件:
https://radiumray.github.io/2020/01/08/ncnnCvCompil/
作者:leirobot
https://www.bilibili.com/read/cv4691966/
出处: bilibili