一、背景
推荐一个不错的博客的项目,钢筋点数。基于faster-rcnn模型的pytorch的接口部署。
说到接口部署,我们得了解它是一种什么方式,怎么应用起来就是一个问题。
我们使用过百度、腾讯、阿里的智能云服务时,大多数都是以API接口形式提供,通过接口,用户发送一张图片给API,api再返回去相应的内容,并告诉你如何解析。
二、接口实现要靠web框架
其实这并不难,我们的python web框架有很多,大家可以尝试tornado 、flask、以及Django。
三、模型部署时需要注意几点
1)多线程的实现,意思是能够一个接口实现多个线程同时接受图片并进行分析。
2)模型加载需要先实例化加载完后,在接口中等待图片到来进行处理,因为模型加载时比较耗时的。
3)负载均衡的考虑,当我们的接口调用频率比较高时要考虑高并发的可能。关于高并发,需要更多的显卡资源以及服务器去做。
nginx很好玩的,可以试试。对外只有一个网址接口,对应一个端口号,我们在背后可以用多个服务器多个接口去支撑这个服务。
以上为我自己的分享和介绍,如有需要交流部署方面可以加我微信ai_hellohello
最后推荐这篇博客:https://blog.csdn.net/Xinyu_cheng/article/details/89320488
代码github:https://github.com/xinyu-ch/Faster_RCNN_Deloy