最近一直在接触模型的部署,因此稍微了解了一下TF serving 的tensorflow模型的部署。
https://medium.freecodecamp.org/how-to-deploy-tensorflow-models-to-production-using-tf-serving-4b4b78d41700
主要包含了四个部分的东西 servable、loader、source、manager
source功能主要是:
发现新的模型,为新模型创建一个Loader,创建的Loader包含了模型的一些相关信息(需要请求的RAM、GPU内存。Loader带一个指针,连接到磁盘上存储的模型,其中包含加载模型需要的相关元数据),但此时的Loader还并没有加载模型。待Loader创建完成之后,将其会送给Manager,作为待加载的模型。
Manager功能主要是:
根据Source发来的请求进行判断:
(1)如果模型为首次部署,则获取资源,并且通知Loader加载模型
(2)如果已经存在,则根据Version policy决定新模型该咋办
当用户请求模型句柄的时候,Manager会放回句柄给Servable
此外,目前TF SERVING有三种服务API,分类,预测和回归。