C++实现算法服务的一些经验总结

一、算法模型调用的几种方式

一般来说，当算法模型比如一个深度学习的目标检测模型在训练验证之后，实际放到应用中使用的时候，有几种方式：

• 1.封装成可调用的sdk。根据应用开发所使用的语言，包括Java sdk、C++ sdk等。这种方式应用者直接调用模型的功能，不存在跨进程通信。
• 2.用python封装成web服务。因为一般模型都是使用python开发的，这种方式是最简单、最自然的，方法我在之前的文章中也提到了。应用使用tcp协议或者http协议与算法服务进行通信，一般将图片通过http request形式发给服务，获得服务返回的包含推理结果的http response。这种交互方式跨进程，可以跨物理机。
• 3.用C++封装成web服务。也是同样使用tcp协议或http协议，和python服务基本类似。

二、python算法服务的优缺点

优点：

• 1.简单，易上手，不易出错。
• 2.迅捷，开发时间短。

缺点：

• 1.由于python单进程无法使用多核能力，所以如果在不使用多进程的情况下，算法服务的吞吐量会成问题，就算有很多并发的推理请求，服务端的资源利用率还是上不去，GPU利用率上不去。这是因为一次推理的过程，在GPU运算之前、之后的前处理和后处理阶段都会有一些用到CPU计算的地方，比如图片的编解码，一些图像处理操作等。
  如果使用多进程的话，虽然能提高GPU利用率，但是对显存的占用也是成倍的。
• 2.python服