星环科技Sophon LLMOps支持DeepSeek R1全参版本以及蒸馏版本。Sophon LLMOps是一款企业级的大模型运营管理平台,支持大/小模型的统一管理、开源及商业化大模型统一纳管、底层国内外GPU/NPU(ARM/x86)异构算力的混合部署、资源精细化切分及调度、模型及应用效果评估、全局状态监控及预警。
企业既可以直接访星环科技云服务(网址:llmops.wuya-ai.com),基于满血DeepSeek 671B(fp8)R1的训练、推理、应用开发;也能够在私有化环境里快速使用R1模型进行具备深度思考的服务及应用开发,能够利用DeepSeek R1实现知识库和工具调用,并快速部署至企业内部,加速基于大模型的企业级应用快速落地。 本篇将聚焦如何基于LLMOps部署DeepSeek R1。1、 DeepSeek R1权重文件下载进入Sophon LLMOps模型管理模块,选择新建模型-创建版本,支持从Huggingface一键拉取对应的模型文件到平台。
下载完成后可在模型详情预览模型基本信息:
2、DeepSeek R1部署资源预估提前预估