深度学习部署NCNN和TensorRT

链接1：https://www.bilibili.com/read/cv4691966/
链接2：https://www.it610.com/article/1280413423120695296.htm
模型优化也就是深度学习推理框架，现在有很多，比如：

阿里的mnn

腾讯的ncnn

NVIDIA的TensorRT

Intel的OpenVINO

等等。。。

它们都是帮助我们部署的工程技术，通常我们用python在GPU训练机上训练出来的模型都很大，要想在嵌入式设备上部署就需要这些推理工具，此外为了进一步提高推理效率，一般都会改用c++来调用这些被优化好的模型。在这里我们先会介绍一下TensorRT，然后详细讲解一下NCNN的详细安装，配置和使用过程。

TensorRT

它是针对英伟达显卡的加速推理框架，目前来讲只针对nvidia GPU，也是支持算子最多的框架，所以对于只有CPU的嵌入式设备来说就不适用了。

详细的安装过程请看官网：https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html

NCNN

它是腾讯开发的一款推理框架，使用比较方便，跨平台，也可在手机设备上部署。安装教程官网在这里：https://github.com/Tencent/ncnn

下边提供了本人在实践过程中的详细步骤和模板代码配置文件：

https://radiumray.github.io/2020/01/08/ncnnCvCompil/
作者：leirobot
https://www.bilibili.com/read/cv4691966/
出处： bilibili