在科技飞速发展的今天,工具的更新换代日新月异,现代深度学习的出现不过是历史长河中的短暂一瞬。而在应用开发领域,现代Web应用的开发生态极为丰富,各种工具层出不穷,从将应用推向生产环境,到监控其性能,再到实时部署,这些工具对于现代Web应用开发而言不可或缺。然而,现代机器学习(ML)和人工智能(AI)领域却尚未形成这样完善的生态系统。
DevOps到MLOps的转变
在Paperspace,我们致力于解决围绕ML工具和构建生产管道的关键问题。目前,我们的大部分工作都融入到了Gradient中,这是我们为ML/AI开发者打造的工具栈,旨在帮助他们快速开发现代深度学习应用。我们认为,广泛且高效的AI面临的最大障碍之一是基础设施和工具问题,尤其是在智能系统需要具备可审查性、确定性和可重复性的前提下。
虽然容器编排工具(如Kubernetes、Mesos等)是现代ML的重要组成部分,但它们只是深度学习真正的持续集成/持续部署(CI/CD)系统的一小部分。而且,传统的CI/CD系统与ML/AI的CI/CD系统在参数、约束和目标方面存在差异。我们花费了大量时间研究这些系统,探索行业现状,并与学术界、初创企业和大型企业的开发者合作,以找出跨领域的普遍问题,而现代机器学习平台有望解决这