SkyPilot 开源框架-批量作业调优

        加州大学伯克利分校的 Sky Computing 实验室发布了开源框架 SkyPilot，这套框架能够在任何云环境上无缝、且经济高效地运行机器学习与数据科学批量作业，适用于多云和单云用户。SkyPilot 的目标是大大降低云使用门槛、控制运行成本，而且全程无需任何云基础设施专业知识。

         Sky Computing 实验室成员研发了一年多的时间，SkyPilot 现在已经被 10 多家组织用于多种不同的场景，包括：GPU/TPU 模型训练（将成本降低至三分之一）、分布式超参数调优及百余个 CPU 竞价实例上的生物信息学批量作业

        

 

        实验室逐渐将 SkyPilot 交付给 10 多个组织的数十位机器学习 / 数据科学从业者和研究人员手中。SkyPilot 已被广泛用于交互式开发（例如运行 Jupyter 的 CPU 服务器）、管理各类项目（跨多云环境），甚至扩展至数百项作业

        

         伯克利 AI 研究所（BAIR）和斯坦福大学的领先机器学习团队，一直在使用 SkyPilot 在云端运行机器学习训练。他们通常会在不更改代码的情况下启动自己的现有机器学习项目，而 SkypIlot 可以配置 GPU 实例、打理集群上的作业排队，并同时运行上百个超参数试验     

        越来越多的计算和数据正在进入云端。”Databricks 联合创始人、领导 Sky Computing Lab 的伯克利计算机科学教授 Ion Stoica 说道：没有回头路可走。

        Stoica 还是 AMPLab 共同创始人、Spark 的核心设计者。他在去年提出了“Sky Computing”构想，这一构想的实质就是想让开发人员构建多云应用程序像构建在单个云上运行的应用程序一样容易

 Sky Computing 与互联网对比：

        Sky Computing 构想的底层是云兼容层，通过抽象出云计算服务，使在该层之上开发的应用程序无需更改即可在不同的云上运行。兼容层可以从当前很多 OSS 解决方案中构建出来，如操作系统 Linux，集群资源管理器 Kubernetes、Mesos，数据库 MySQL、Postgres，⼤数据执⾏引擎 Spark、Hadoop，机器学习库 PyTorch 、Ten sorflow，通⽤分布式框架 Ray、Erlang 等等

  

参考：

GitHub - skypilot-org/skypilot: SkyPilot is a framework for easily running machine learning workloads on any cloud through a unified interface.