![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习部署
Enoch Liu98
这个作者很懒,什么都没留下…
展开
-
深度学习编译器
深度学习编译器强调优化,深度学习推理框架强调部署 深度学习编译器实现了从深度学习框架(tensorflow等等)到部署到硬件的过程。 编译器其实跟推理框架很相近 编译器scheduler的作用主要在于优化 Relay将前端模型变成TVM可以识别的Graph IR ...原创 2022-01-03 22:18:49 · 1319 阅读 · 0 评论 -
深度学习推理框架
TensorRT OpenVINO mnn ncnn 深度学习训练框架: Google的TensorFlow和FaceBook的Pytorch是全球主流的深度学习框架,另外亚马逊的MxNet,百度的Paddle,旷视的MegEngine,华为的Mindspore以及一流科技的OneFlow 深度学习前向推理框架: 在Intel的CPU/GPU上就使用OpenVINO,在Arm的CPU/...原创 2022-01-03 22:17:31 · 1169 阅读 · 0 评论 -
TensorRT
什么是TensorRTTensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。我们利用Pytorch、TF或者其他框架训练好的模型,可以转化为TensorRT的格式,然后利用TensorRT推理引擎去运行我们这个模型,从而提升这个模型在英伟达GPU上运行的速度。速度提升的比例是比较可观的。说回TensorRT本身,TensorRT是由C++、CUDA、python三种语言编写成的一个库,其中核心代码为C++和CUDA,Python端作为前端与用户交互。当然,TensorRT原创 2022-01-03 22:15:18 · 1523 阅读 · 0 评论