AlphaML(系统篇)-机器学习serving框架

### 缘何自研算法serving框架
首先说下我们的背景，我们目前是大数据部门的算法团队，我们的客户：内部子公司与业务部门所服务的CRM客户，我们的使命：为这些客户及客户的客户提供建模服务，针对不同业务需求，我们开发了一系列模型及机器学习算法/产品，但是构建模型只是问题的一部分，我们的建模之后的挑战是要找到一种方法，使得模型可以在生产环境下服务，而且是面向不同客户不同环境提供部署服务。模型服务系统将经受大量的业务。所以需要确保为这些模型提供的软件和硬件基础架构是可扩展的、可靠的和容错的，这对的客户来说是非常重要的。由于好多的需求和涉及算法比较类似，如果为每一个客户提供个性化语言的模型开发势必会造成资源的浪费。基于此我们开始考虑开发一套统一的对外算法服务框架，一来可以对算法的统一开发与管理，二来可以收集客户数据及共享模型给不同的客户（前提是得到客户的许可）。基于这些思考促使我们对算法服务框架的研究。
### 前期调研
在明确建设目标后，我们对市面上相关的框架进行仔细调研，总结和借鉴这些框架相关部分，以帮助对目标的设计。经过与工程师的多次讨论，我们明确了一些需要具备的核心功能：
- serving时的低延迟，提供REST API
- 横向可扩展
- 分布式serving，增强并发
- 灵活易开发的微服务架构
- 支持开源框架的整合，以支持未来的数据产品
- 支持场景化模型/算法pipeline的开发与部署
- 热部署，即新的算法服务及模型更新不需停掉旧的服务
期间我们研究的框架包括：H2O、PredictionIO、BigML、common_lab_so、tensorflow serving等，这些框架与我们的目标之间各有不同程度重合部分可借鉴。其