1. TensorFlow Serving
:
是 Google 推出的 TensorFlow 模型部署和服务化框架,能够将 TensorFlow 模型作为服务提供给客户端,并支持高效的多并发请求。
2. ONNX Runtime
:
是 Microsoft 推出的深度学习推理引擎,支持 ONNX 模型的跨平台部署和优化。
3. TensorRT
:
是 NVIDIA 推出的针对 NVIDIA GPU 的高性能深度学习推理库,能够通过优化和裁剪神经网络来提高推理性能,并且支持 FP32、FP16 和 INT8 精度下的推理。
4. TFLite
:
是 Google 推出的针对移动和嵌入式设备的轻量级深度学习推理库,可以将 TensorFlow 模型转换为 TFLite 模型以在移动设备上运行。
5. OpenVINO
:
是 Intel 推出的深度学习推理引擎,支持多种硬件架构(CPU、GPU、VPU)和多个框架(TensorFlow、Caffe、ONNX 等),适用于边缘设备和 IoT 应用。
6. TVM
:
是一个基于 LLVM 的深度学习编译器和运行时系统,可以针对不同硬件架构生成高效的代码,并支持多种深度学习框架。