借助 NVIDIA AI Enterprise 构建 MaaS 平台
本案例中，九州未来的团队基于 NVIDIA AI Enterprise 的全栈软件套件，构建其 MaaS 大模型一体化开发及部署平台，该平台同时支持云端部署和私有化部署，通过九州未来开发的算力调度平台软件，实现云端资源与大模型一体机的算力协调和开发协同。
兼顾企业级的安全性、可靠性和性能
随着大模型的持续发展，特别是垂直领域大模型，对于数据安全性及私密性、模型工具链及平台的通用性和可靠性、模型上线部署的易用性及推理性能等诸多方面提出了更多的诉求。面对快速增长的市场及客户需求，九州未来基于 NVIDIA AI Enterprise 自主开发了其大模型 MaaS 平台，不仅支持端到端的垂直领域大模型的开发全流程，同时支持线下一体机部署与云端资源协调模式，在最大化保护企业数据安全性的同时，兼顾灵活的算力调度与协调供给。
九州未来创始人兼 CEO 张淳先生表示，“AIGC 促进智能算力爆发式增长，并正加速迈入全面应用时代，今后一定不是裸算力简单的资源管理方式，一定需要用软件定义精算力来多元化地管理并提升 GPU 的附加价值，助力加速垂直模型和应用落地的效率。”
为构建自定义生成式 AI 应用提供支持
NVIDIA AI Enterprise 是一个为企业提供生产就绪型全栈的软件解决方案，提供并保证其可靠的 AI 正常运行和不间断的 AI 卓越表现，实现利用生成式 AI 进行创新的企业加速开发。
九州未来通过 10 余年云边自主研发软件的技术积累，结合近年来赋能智算中心的不断落地，通过 NVIDIA AI Enterprise 深度的技术整合，以大模型为基础、轻量化微调的 MaaS 服务作为其核心服务能力之一，基于基础模型训练后的行业大模型，使用相关行业数据进行微调或知识检索能力的导入，再通过 NVIDIA TensorRT-LLM 及 NVIDIA Triton 推理服务器的推理优化和实现一键部署后，可以为特定行业提供高质量高性能的大模型 AI 应用。
上图的大模型 MaaS 平台，端到端包含 Animbus PaaS 平台（集成 NVIDIA GPU Operator 和 Network Operator）、NVIDIA AI Enterprise 软件套件（包括 NeMo Framework – Training Container 和 Inference Container）、MaaS 大模型服务及应用 UI 交互界面，以上所有的软件以及对应的操作系统镜像会打包到一个 U 盘里面，实现一个 U 盘即可快速启动大模型一体机的服务。
NVIDIA NeMo Framework 加速行业大模型开发
在 MaaS 平台的二次开发和深度整合的过程中，九州未来团队使用 NVIDIA AI Enterprise 中的 NeMo Framework，一款端到端面向企业级交付、云原生大模型的框架，可以灵活地构建、定制和部署生成式 AI 模型。
该平台承载了诸多优质的大模型精选体验，结合特有的行业知识快速导入能力，用户能够很好地训练、微调、评估、优化及部署模型。对于选择好基础模型的用户，提供全流程的向导式服务，训练过程中的训练数据实时可查，用户可轻松基于数据集、使用最好的超参数完成微调任务，在模型完成评估后，实现大模型的一键优化部署。
主要支持训练及优化功能：
- 基础大模型仓库
- SFT/PEFT/提示词工程
- 推理优化及一键部署
- 知识导入及向量数据库服务
通过 NVIDIA AI Enterprise 整体软件栈的加速，大模型微调和推理性能相比开源推理框架有大幅提升。
柱状图代表在不同 Batch 情况下的每秒钟生成的 Token 数量，越高代表越好
116
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
