StarCloud开源行动：激发算力调度的创新潜力

01  关于StarCloud

OpenCSG StarCloud 是一个集开源系统(Kubernetes ,K8S)与高性能计算(High Performance  Computing,HPC)一体的混合算力调度平台。它专注于大模型训练和推理，并提供一站式服务，包括从训练到部署，以及多模型比较等。除了在人工智能领域的应用，StarCloud 在工程设计与仿真、金融和风险管理、药物研发和医学研究等多个领域也展现出其卓越的性能。

随着大模型应用的发展及落地，GPU 算力资源变得日益紧张，StarCloud提供了多样化的异构计算算力服务，旨在满足大模型应用和高性能计算的需求，致力于构建一个普惠、易用的算力服务平台。StarCloud的资源调度平台有效缓解这一问题，通过精细化管理大模型的调度过程，从而提高资源的利用率。此外，企业可以利用StarCloud部署自己私有化的平台，实现定制化的资源管理和调度，以满足特定的业务需求。

02  StarCloud 功能介绍

StarCloud 是一个全面而高效的混合算力调度平台，它整合了多机多卡异构算力调度、异地多中心的统一调度，通过并行化计算加速大规模任务的处理。平台还能支持构建超大运算中心，调度数百万内核和数万GPU资源，同时提供了大模型微调的统一框架，以及多租户和私有化的支持，确保了调度的高效性和灵活性。

StarCloud功能覆盖了多个关键领域。接下来，本文将从用户模块、作业模块、资源模块、调度策略及其它这四个方面，为您详细解读 StarCloud 的核心功能：

用户模块

   1.多租户管理

• 引入多租户管理功能，支持同时管理多个租户。

• 通过强化数据与资源隔离，精准满足差异化租户需求。

   2. 用户角色

• 允许定义和分配用户角色，优化访问控制和权限管理。

• 为不同用户提供定制化的视图，并确保资源量与数据的独立性。

   3.用户和用户组设定

• 提供了用户和用户组的设置功能，用户和用户组的管理更加便捷高效。

• 确保系统用户的管理高效和准确。

   4.用户登录登出

• 支持用户的登录和登出功能，确保系统的安全性和用户身份的验证。

作业模块

   1.作业状态查看

• 允许实时监控提交作业的状态，包括进度和完成度。

• 提供了对作业执行情况的全面监控，确保用户能够随时了解作业的进度和状态。

   2.作业详情和作业输出内容查看

• 提供了对作业详细信息和输出内容的查看功能。

• 深入了解作业的执行结果和输出。

   3.作业提交和相关参数配置

• 提供了作业提交功能，同时还提供了相关参数的配置选项。

• 灵活地配置作业的执行方式和参数。

资源模块​​​​​​

   

1.集群资源状态查看

• 允许用户实时查看集群资源状态，包括资源的可用性和利用率。

• 用户能够可视化管理资源，全面掌握集群资源的实时状况

   2.阿里云资源动态调度

• 引入了阿里云资源的动态调度功能，能够更加灵活地管理和分配阿里云上的资源。

• 满足不同作业的需求。

调度策略及其它

1.角色和队列关联

• 提供角色和队列关联功能，将特定角色与特定队列相关联。

• 简化作业的提交和管理流程。

   2.QoS创建和维护

• 提供了QoS（服务质量）的创建和维护功能。

• 满足不同作业的特定需求，确保作业按照预期的优先级和要求执行。

03  更多计划

未来，StarCloud 将持续优化和发展，增加更多实用的功能，进一步提升用户体验并满足不断变化的计算需求。这些功能可能包括但不限于：

• StarCloud 一体式安装包

• StarCloud K8S operator

• StarCloud与 csghub整合, 允许用户选择模型微调

• 支持更多微调框架例如 deepspeed, pytorch chepoint

• 失败作业自动从检查点重启

StarCloud 开源地址：

https://github.com/OpenCSGs/llm-scheduler-ui 

https://github.com/OpenCSGs/llm-scheduler-api