19.10.11 TF Serving部署tensorflow模型

最近一直在接触模型的部署，因此稍微了解了一下TF serving 的tensorflow模型的部署。
https://medium.freecodecamp.org/how-to-deploy-tensorflow-models-to-production-using-tf-serving-4b4b78d41700

主要包含了四个部分的东西 servable、loader、source、manager

source功能主要是：
发现新的模型，为新模型创建一个Loader，创建的Loader包含了模型的一些相关信息（需要请求的RAM、GPU内存。Loader带一个指针，连接到磁盘上存储的模型，其中包含加载模型需要的相关元数据），但此时的Loader还并没有加载模型。待Loader创建完成之后，将其会送给Manager，作为待加载的模型。

Manager功能主要是：
根据Source发来的请求进行判断：
（1）如果模型为首次部署，则获取资源，并且通知Loader加载模型
（2）如果已经存在，则根据Version policy决定新模型该咋办
当用户请求模型句柄的时候，Manager会放回句柄给Servable

此外，目前TF SERVING有三种服务API，分类，预测和回归。