AI工程部署开发到底是什么工作内容？

AI部署简单来说就是将训练好的模型在各种芯片上高效地运行：

• 芯片包括（x86 CPU, arm CPU, NV GPU, AMD GPU, NPU, IPU, MLU…etc基本每个芯片公司都有自己的芯片有模型部署需求）
• 模型种类包括（检测、识别、NLP、分类、分割、CV等等都通吃）
• 最终部署指标（领导看的metric，关乎你的工作成果）包括（延迟低，吞吐大功耗低，占用内存小，精度高）

和算法相比，AI部署那就是真正的与落地相关的了，部署的流程我认为包括两部分：提升模型推理性能充分利用芯片资源，比如充分利用GPU运算单元，使得模型性能达到GPU峰值算力，这个过程有很多成熟的产品，比如Nvidia的tensorRT，Intel的OpenVINO，商汤的openppl，旷视的megengine等等；而后，用一些现有的服务框架搭一个服务给外部调用，比如tfserving，Nvidia triton server。

现在已经有了很多成熟的工具链可以完成以上部署流程，多数情况下按照教程调用一下（中间出现bug再搜一搜）就可以部署成功。但是，我想强调的是，这其实和调包侠区别不大，技术含量还是不高。我们应该朝底层看，比如我们应该去专注于开发这套工具链，而不是使用这条工具链，这是不是路就宽了？具体来说，以上提到的tensorRT是nvidia的sota解决方案，你要是可以参与到开发它，那岂不是能看到更多更深的技术了？

具体是哪些技术可以欢迎大家关注我的公众号“AI不止算法”，不定时分享C++以及AI高性能优化部署的技术体会