通过LLMOps部署DeepSeek R1,加速企业级AI应用构建

星环科技Sophon LLMOps支持DeepSeek R1全参版本以及蒸馏版本。Sophon LLMOps是一款企业级的大模型运营管理平台,支持大/小模型的统一管理、开源及商业化大模型统一纳管、底层国内外GPU/NPU(ARM/x86)异构算力的混合部署、资源精细化切分及调度、模型及应用效果评估、全局状态监控及预警。
企业既可以直接访星环科技云服务(网址:llmops.wuya-ai.com),基于满血DeepSeek 671B(fp8)R1的训练、推理、应用开发;也能够在私有化环境里快速使用R1模型进行具备深度思考的服务及应用开发,能够利用DeepSeek R1实现知识库和工具调用,并快速部署至企业内部,加速基于大模型的企业级应用快速落地。 本篇将聚焦如何基于LLMOps部署DeepSeek R1。1、 DeepSeek R1权重文件下载进入Sophon LLMOps模型管理模块,选择新建模型-创建版本,支持从Huggingface一键拉取对应的模型文件到平台。

  
下载完成后可在模型详情预览模型基本信息:

  
2、DeepSeek R1部署资源预估提前预估

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值