如何在百度百舸部署满血版DeepSeek-V3、DeepSeek-R1模型

百度百舸·AI异构计算平台已支持快速部署DeepSeek-V3、DeepSeek-R1及其蒸馏的Llama、Qwen等小规模dense模型。您可以登录百度百舸平台快速部署DeepSeek系列模型体验模型效果。

开通轻量计算实例

开通一台H20(ebc.lgn7t.c208m2048.8h20.4d)规格的计算实例并添加到百度百舸·AI异构计算平台。详细开通步骤,请查看:https://cloud.baidu.com/doc/AIHC/s/om6rwjfrx#%E9%99%84%E5%BD%95

在这里插入图片描述

部署vLLM

在百度百舸平台的左侧导航中选择「工具市场」页面,部署工具vLLM。
在这里插入图片描述

模型推理

vLLM部署成功,登录实例下载模型并启动vLLM服务,安装WebUl客户端。
在这里插入图片描述

发送请求开始对话。
在这里插入图片描述

各系列模型的推荐配置清单
在这里插入图片描述

在完成满血版DeepSeek模型的快速部署后,百度百舸·AI异构计算平台还能为这些在线服务提供全生命周期管理、自研框架推理加速、推理资源碎片整理等能力。在保障服务稳定性的同时,有效降低推理成本并提升推理性能。

访问百度百舸页面https://cloud.baidu.com/product/aihc.html,感受服务稳定性与成本效益的双重提升!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值