使用阿里云 PAI 平台云上一键部署 DeepSeek-V3 模型

作者:阿里云大数据AI技术

DeepSeek-V3 模型简介

DeepSeek-V3 是 DeepSeek 发布的 MoE(Mixture-of-Experts)大语言模型,总参数量为6710亿,每个 token 激活的参数量为370亿。为了实现高效的推理和成本效益的训练,DeepSeek-V3 采用了 MLA(Multi-head Latent Attention)和 DeepSeekMoE 架构。此外,DeepSeek-V3 首次引入了一种无需辅助损失的负载均衡策略,并设定了多token预测的训练目标,以提升性能。DeepSeek-V3在14.8万亿个多样且高质量的token上对模型进行了预训练,随后通过监督微调(SFT)和强化学习来充分发挥其潜力。

PAI-Model Gallery 简介

Model Gallery 是阿里云人工智能平台 PAI 的产品组件,它集成了国内外 AI 开源社区中优质的预训练模型,涵盖了 LLM、AIGC、CV、NLP 等各个领域。通过 PAI 对这些模型的适配,用户可以以零代码方式实现从训练到部署再到推理的全过程,简化了模型的开发流程,为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。

  • 访问地址:https://pai.console.aliyun.com

PAI-Model Gallery 一键部署 DeepSeek-V3

  1. 进入 Model Gallery 页面

  • https://pai.console.aliyun.com/#/quick-start/models
    
  • 登录 PAI 控制台。

  • 在顶部左上角根据实际情况选择地域。

  • 在左侧导航栏选择工作空间列表,单击指定工作空间名称,进入对应工作空间内。

  • 在左侧导航栏选择快速开始 > Model Gallery。

2. 在 Model Gallery 页面的模型列表中,单击找到并点击 DeepSeek-V3 模型卡片,进入模型详情页面。

3. 单击右上角部署,配置推理服务名称以及部署使用的资源信息,即可将模型部署到 PAI-EAS 推理服务平台。

  1. 使用推理服务。

在 PAI-Model Gallery > 任务管理 > 部署任务中单击已部署的服务名称,在服务详情页面右上角单击查看WEB应用,即可通过ChatLLM WebUI进行实时交互。

同时,部署的服务还支持 API 推理,API 使用方式可参考教程 5分钟使用EAS一键部署LLM大语言模型应用

  • 链接:https://help.aliyun.com/zh/pai/use-cases/deploy-llm-in-eas

### 如何在本地环境中部署 DeepSeek V3 #### 准备工作环境 为了能够在本地环境中顺利部署 DeepSeek V3,需先准备合适的运行环境。这通常意味着安装 Docker 或者 Minikube 来模拟 Kubernetes 集群环境。 对于 Pod 启动成功后的具体操作流程如下: 进入 `prepare` 容器并设置好基础环境: ```bash kubectl exec -it $( kubectl get pod -n deepseek | awk 'NR>1 {print $1}' | grep prepare ) bash -n deepseek ``` 安装必要的 Python 库来管理 Hugging Face 的资源: ```bash pip install huggingface_hub ``` 接着可以利用命令行工具下载指定版本的模型文件到目标目录内: ```bash huggingface-cli download --resume-download deepseek-ai/DeepSeek-V3 --local-dir /model/deepseek-ai/DeepSeek-V3 ``` 以上步骤描述了如何通过 Kubernetes 和 Hugging Face CLI 工具,在容器内部署和获取 DeepSeek V3 模型的过程[^1]。 考虑到并非所有人都熟悉 K8s 环境下的开发方式,如果希望简化这一过程,则可以选择基于虚拟机或其他形式的隔离环境来进行相同的操作。另外值得注意的是,阿里云 PAI 提供了一键部署方案用于云端快速搭建服务实例;然而此方法适用于云计算平台而非纯本地机器上的应用部署场景[^2]。 因此,针对完全离线或仅限于个人电脑的情况,建议按照官方文档指导或是参考社区贡献者的经验分享,手动构建所需的依赖关系和服务架构,确保所有组件都能正常运作之后再尝试加载预训练好的 DeepSeek V3 模型权重数据。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AIGC Studio

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值