30分钟私有部署Deepseek-R1和V3,轻松拥有企业专属超大模型

背景

随着大模型技术的快速发展,开源大模型在自然语言处理、代码生成、多语言理解等领域的应用日益广泛。Deepseek-R1 和 Deepseek-V3 作为行业领先的开源大模型,凭借其卓越的性能、丰富的应用场景和高度的灵活性,迅速成为企业智能化转型的关键工具。Deepseek-R1 在代码生成、对话理解和多语言支持等任务中展现出强大的能力,而 Deepseek-V3 则以多模态支持、复杂推理能力和资源效率优化为核心优势,为企业提供覆盖多场景的智能化解决方案。

然而,企业用户在部署私有化超大规模模型时仍面临诸多挑战。传统基于IaaS的部署方式需要用户自行管理环境配置、依赖安装、硬件资源调优以及复杂的网络与存储问题,整个流程通常需要数小时甚至数天,并且容易因版本冲突、资源分配不当或操作失误导致部署失败或性能瓶颈,严重制约了模型的快速落地与规模化应用。如阿里云技术解决方案提供的基于GPU云服务器部署Deepseek-R1满血版方案,实操部署较为繁琐。

为此,阿里云计算巢推出了基于 ECS镜像、Vllm和Ray集群的超大模型一键部署方案。该方案通过预置标准化环境的ECS镜像,结合自动化云资源编排模板(如Ros模板),将Deepseek-R1和Deepseek-V3的私有化部署流程简化为一键操作。用户无需深入理解底层技术细节,即可在 30分钟内 快速完成模型环境搭建与服务启动,真正实现“开箱即用”的企业级超大模型服务。这一方案不仅大幅降低了技术门槛,更通过阿里云的弹性RDMA高性能推理优化,确保模型在企业场景中实现高可用、低延迟的推理服务,助力企业快速解锁AI驱动的业务价值。

部署说明

本服务提供了基于ECS镜像+Vllm+Ray的大模型一键部署方案,30分钟即可通过双ECS实例部署使用DeepSeek-R1满血版和DeepSeek-V3模型。

本服务通过ECS镜像打包标准环境,通过Ros模版实现云资源与大模型的一键部署,开发者无需关心模型部署运行的标准环境与底层云资源编排,仅需添加几个参数即可享受DeepSeek-R1满血版和DeepSeek-V3的推理体验。

本服务提供的方案下,以平均每次请求的token为10kb计算,采用两台H20规格的ECS实例,DeepSeek-R1满血版理论可支持的每秒并发请求数(QPS)约为75,DeepSeek-V3约为67。

整体架构

部署流程

  1. 单击部署链接。选择双机版,并确认已申请H20实例规格。根据界面提示填写参数,可根据需求选择是否开启公网,可以看到对应询价明细,确认参数后点击下一步:确认订单

  2. 点击下一步:确认订单后可以看到价格预览,随后可点击立即部署,等待部署完成。(提示RAM权限不足时需要为子账号添加RAM权限)
  3. 等待部署完成后,就可以开始使用服务了。点击服务实例名称,进入服务实例详情,使用Api调用示例即可访问服务。如果是内网访问,需保证ECS实例在同一个VPC下。

使用说明

内网API访问

复制Api调用示例,在资源标签页的ECS实例中粘贴Api调用示例即可。也可在同一VPC内的其他ECS中访问。

公网API访问

复制Api调用示例,在本地终端中粘贴Api调用示例即可。

性能测试

本服务方案下,针对Deepseek-R1和V3,分别测试QPS为75和60情况下模型服务的推理响应性能,压测持续时间均为20s。

Deepseek-R1

QPS为75

Deepseek-V3

QPS为60

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值