超级会员免费看
本文详细探讨了深度学习模型推理的各个方面，从PyTorch和PyTorch Lightning的模型部署，到ONNX、Intel oneDNN的优化，再到苹果公司的CoreML和Google的TFLite。文章涵盖了模型转换、硬件加速、内存管理和性能优化等关键点，强调了JIT技术在提高效率中的作用，并提供了实际案例和代码示例。
模型推理那些事
目前主流的深度学习框架有目前越来越多的深度学习框架、工具集以及定制化硬件使得构建、部署和跨框架管理深度学习越来越复杂。常用的深度学习框架有TensorFlow、Pytorch、MXNet和CNTK，因为训练最为耗时，所以常使用GPU、FPGA、TPU和ASIC等硬件加速模块缩短训练耗时，这些定制化的硬件需要使用定制化的驱动和库以便和深度学习框架交互。NVIDIA CUDA/cuDNN和Intel的OneDNN是这种情况的两个例子。当训练结束得到最终模型之后，部署阶段的平台可以是公有云、电脑、手机以及嵌入式设备等，为了加速前向计算，常用不同的AI加速器，如NVIDIA Jetson家族，Intel Movidius and Myriad VPU, Google Edge TPU and Qualcomm Adreno GPU 等，和训练端类似，需要使用专用的驱动包以便使用这些硬件，如
订阅专栏 解锁全文
扫一扫
2995
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
