【大模型】1. 深度学习框架和推理框架概念

深度学习框架：用于构建、训练和部署神经网络模型，包含：TensorFlow、PyTorch、OneFlow等

深度学习模型交换格式ONNX：实现不同深度学习框架之间的模型转换和互操作性

推理框架：

• NCNN：一个为手机端极致优化的高性能神经网络前向计算框架
• MNN：是一个轻量级的深度神经网络引擎，支持深度学习的推理与训练
• TensorRT ：是一个用于深度学习推理的SDK 

部署：

• TVM：是一个开源的深度学习编译器和优化器，
• LMIR：是TVM在优化和编译深度学习模型时使用的低级中间表示形式，用于表示模型的计算图和计算操作

参考：

MNN：MNN介绍 — MNN-Doc 2.1.1 documentation

TensorRT：https://developer.nvidia.com/zh-cn/blog/speeding-up-deep-learning-inference-using-tensorrt-updated/