模型推理加速

最新推荐文章于 2024-11-10 08:15:38 发布

xiaommianyang

最新推荐文章于 2024-11-10 08:15:38 发布

阅读量106

点赞数

文章标签： python 深度学习 tensorflow

本文链接：https://blog.csdn.net/xiaommianyang/article/details/130983645

版权

该文介绍了不同深度学习框架下的模型推理应用，包括PyTorch的TorchScript、ONNXRuntime、OpenVINO的模型，以及TensorRT、CoreML、TensorFlowSavedModel、TensorFlowGraphDef、TensorFlowLite和针对EdgeTPU优化的模型，还有PaddlePaddle的模型推理实现。

摘要由CSDN通过智能技术生成

模型推理

 $ python detect.py --weights yolov5s.pt                 # PyTorch
                                 yolov5s.torchscript        # TorchScript  XXX
                                 yolov5s.onnx               # ONNX Runtime or OpenCV DNN with --dnn
                                 yolov5s_openvino_model     # OpenVINO  OK
                                 yolov5s.engine             # TensorRT  OK 
                                 yolov5s.mlmodel            # CoreML (macOS-only) XXX
                                 yolov5s_saved_model        # TensorFlow SavedModel 
                                 yolov5s.pb                 # TensorFlow GraphDef 
                                 yolov5s.tflite             # TensorFlow Lite  XXX
                                 yolov5s_edgetpu.tflite     # TensorFlow Edge TPU  XX
                                 yolov5s_paddle_model       # PaddlePaddle XXX