计算机视觉+人工智能面试笔试总结——模型压缩部署

目录

1.模型在线部署

2.模型离线训练和模型在线部署

3.推理和训练的不同

4.手机端CPU推理框架的优化

---

1.模型在线部署

模型部署首先要涉及到模型的转换，转换的工程随着对应平台的不同而不同，现阶段部署的平台分为云 `GPU` 平台、手机 `ARM` 和其他嵌入式端侧平台（海思 `3519`、安霸 `CV22`、地平线 `X3`、英伟达 `jetson tx2` 等）。对于模型部署/移植工程师来说，虽然模型优化、量化等是更有挑战性和技术性的知识，但是大多数时候我们往往是在做解决模型无法在端侧部署的问题，包括但不限于：实现新 `OP`、修改不兼容的属性、修改不兼容的权重形状等。对于模型转换来说，现在行业主流是使用 `Caffe` 和 `ONNX` 模型作为中间模型。

在做深度学习的实验的时候，比如使用 `Pytorch` 框架训练出一个模型，那么推理的时候也会直接使用 `Pytorch` 框架 `test`，但是在工业界这是不可能的，因为其推理速度很慢，所以我们必须有专门的深度学习推理加速框架去部署训练好的模型。以 `TensorRT` 引擎为例，简单描述这个过程就是：训练好网络模型（权重参数数据类型为