深度分析下 DeepSeek-R1 用华为昇腾，推理集群大概多大？

最新推荐文章于 2025-04-27 15:23:24 发布
最新推荐文章于 2025-04-27 15:23:24 发布
阅读量1.6k 收藏 2
点赞数 9
分类专栏： Deepseek原理与使用 文章标签： 服务器 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/145421123
版权

深度分析下 DeepSeek-R1 用华为昇腾，推理集群大概多大？

重磅消息，昨天的新闻，DeepSeek-R1 真的能在华为的昇腾AI加速卡上跑了。我们来深度分析下硬件性能真的能跟得上吗？

根据华为官方，Atlas（昇腾） 300I Pro 推理卡单卡拥有 140 TOPS INT8 和 70 TFLOPS FP16，这个性能足够推理用，但关键的内存则使用了LPDDR4X 24 GB，总带宽204.8 GB/s。这意味着运行原生的FP8版本的DeepSeek-R1大概单卡（先不考虑装不下的问题, R1激活量是37B）是 4 token/s.

然后还有2合一型号 Atlas 300I Duo(一块PCB焊了2个核心)，内存翻倍，LPDDR4X 96GB或48GB，总带宽408GB/s。

那么我们计算一下如果能装下DeepSeek-R1（FP8 按照800GB计算）,

了解本专栏 订阅专栏 解锁全文 超级会员免费看
鲲鹏服务器与昇腾卡（Atlas 300I Pro）协作搭建DeepSeek-R1-Distill-Qwen-7B：超前的深度学习加速技术探索
s13596191285的博客
03-19 378
随着人工智能应用的快速发展，深度学习模型的训练和推理任务对硬件性能提出了更高的要求。鲲鹏服务器结合昇腾卡（Atlas 300I Pro）为深度学习提供了强大的硬件支持。在本研究中，我们探讨了如何使用鲲鹏服务器和昇腾卡（Atlas 300I Pro）搭建高效的深度学习框架，特别是在利用DeepSeek-R1和Distill技术进行Qwen-7B模型的训练和优化方面的应用。通过多层次的硬件加速与软件优化，我们成功提升了模型的训练效率和推理性能，并推动了大规模AI应用的前沿进展。
英伟达、AMD、晟腾 的GPU都可以跑DeepSeek R1?
02-03 1673
需通过 HIP 工具将 CUDA 代码转换为 AMD 兼容代码，复杂模型（如 Transformer 优化算子）可能无法直接运行。：CUDA 和 cuDNN 提供最优化的深度学习算子支持，DeepSeek 官方模型通常基于 PyTorch + CUDA 开发。：支持 TensorRT 量化加速、Nsight 性能分析、多卡训练（NCCL），适合企业级部署。直接调用 DeepSeek 的云端 API（如有提供），规避本地硬件限制。：需高吞吐量、低延迟的实时推理（如智能客服、推荐系统）。
2025华为：基于华为昇腾的DeepSeek V3-R1方案.pdf
02-12
2025华为：基于华为昇腾的DeepSeek V3-R1方案，共33页。 1. DeepSeek背景介绍 2. DeepSeek V3/R1创新点 3. 基于昇腾DeepSeek V3/R1方案 4. DeepSeek V3/R1对产业的影响
华为昇腾部署 DeepSeek-R1 (671B) 大模型实战指南
MnivL的博客
02-11 1万+
本文是一份全面的华为昇腾 Atlas 800I A2 服务器集群部署 DeepSeek-R1 671B 大模型的指南。内容涵盖部署前的硬件和软件要求、模型权重处理（包括下载、格式转换）、昇腾镜像配置（获取、启动及测试）、分布式推理配置、服务化部署（环境变量配置、参数修改、拉起服务及接口测试）、高级量化方案（支持类型和量化命令示例），还提供了常见问题排查方法和丰富的资源链接，助力用户完成在华为昇腾平台上的模型部署。
华为昇腾服务器部署deepseek的坑
yimenren的博客
02-18 1057
大模型，华为昇腾，deepseek
DeepSeek-R1华为卡300i Duo环境搭建&推理测试
zzq1989_的专栏
03-10 1944
在N卡上的操作，应该已经展示的比较全面了。今年过年期间，华为很快就宣布适配DeepSeek-R1，刚好，手上有几张华为300i Duo卡，有资源部署。1、修改模型里的config.json比如模型路径为：/home/aicc/modelscope/deepseek/distill-32b。通过watch -n 1 npu-smi info命令查看当前的npu程序，看看是否加载顺利。前文已经写了不少DeepSeek相关的文章，感兴趣的童鞋可以移步（4、配置大模型路径、name和分配对应的芯片。
昇腾910B部署满血DeepSeek-R1(可推理版)
qq_73797346的博客
02-22 4281
记录本周大模型的部署情况，使用昇腾910B物理机部署DeepSeek-R1满血大模型，可显示推理过程。
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
mizhiakk的博客
02-13 1万+
鲲鹏服务器+昇腾卡（Atlas 300I pro）搭建DeepSeek-R1-Distill-Qwen-7B（自己存档详细版）
一文洞悉 DeepSeek-R1 本地部署全攻略与极致性能释放秘籍！
finehoo_andy的博客
02-14 645
从较小的模型起步，逐步向更大的模型进阶，这样的策略既确保了性能的稳定提升，又避免了资源的无谓浪费。值得庆幸的是，DeepSeek-R1的模型架构与DeepSeek-V3一脉相承，这使得其能够共享DeepSeek-V3丰富的本地部署资源。DeepSeek-R1，这款备受瞩目的模型，凭借其卓越的性能和广泛的应用前景，无疑在人工智能领域掀起了一股热潮。这一框架为性能优化提供了无限可能，让DeepSeek-R1在保持高性能的同时，还能实现更低的能耗和更高的效率。
大模型迎来2025开年大作：deepseek-R1与deepseek-R1-Zero
热门推荐
sexy19910923的博客
01-21 3万+
DeepSeek版o1，有消息了。还未正式发布，已在代码基准测试LiveCodeBench霸榜前三，表现与OpenAI o1的中档推理设置相当。 注意了，这不是在DeepSeek官方App已经能试玩的DeepSeek-R1-Lite-Preview（轻量预览版）。
小白也能使用 DeepSeek-R1 模型 （包含解决DeepSee R1 卡顿问题）
02-11 2729
相信大家这个春节被各种 DeepSeek R1 的横空出世给刷屏了，导致 DeepSeek 官网一度卡死，出现这样的情况。通过官网的介绍，DeepSeek-R1 在后训练阶段大规模使用了强化学习技术，在仅有极少标注数据的情况下，极大提升了模型推理能力。在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版。并且把 DeepSeek-R1 训练技术全部公开，以期促进技术社区的充分交流与创新协作。可谓真的是“国产之光”。当然根据官网介绍，在。
DeepSeek R1 && Ascend全国产化大模型推理本地化部署教程它来了
深蓝
02-05 7460
DeepSeek-R1在昇腾Atlas300IPro使用mindie推理套件本地化部署大模型推理。全栈国产化技术体系
华为Atlas Duo 300I DUO推理卡 部署LLM推理服务
weixin_37447415的博客
10-29 1万+
本文是在Atlas Duo 300I 推理卡上部署LLM推理服务的一次尝试，完整的安装文档参考。安装过程中遇到问题可以在社区提问，目前该推理卡对新模型的支持不是太好，且实测下来性能不及3090（吐槽：显存虚报，标记48GB实际只有44GB；算力140TFLOAPS，但推理速度只有3090的1/3）。如果用于大模型训练或推理，直接使用910。安装的流程为：step1：安装驱动和固件step2：安装cannstep3：安装mindIE由于物理安装比较麻烦，官方提供了。
华为AI芯片生态全栈深度分析 2024
小码哥AI、互联网副业项目
04-24 7908
华为的AI战略不仅涵盖软件算法、平台服务，更关键的是在硬件层面，尤其是AI芯片的研发与产业化推进，旨在打造端到端、全场景的AI解决方案，以满足未来数字化社会对智能计算能力的旺盛需求。LPDDR4X 24 GB，总带宽 204.8 GB/s，融合“通用处理器、AI Core、编解码” 于一体，提供超强 AI 推理、目标检索等功能，具有超强算力、超高能效、高性能特征检索、安全启动等优势，可广泛应用于 OCR 识别、语音分析、搜索推荐、内容审核等诸多 AI 应用场景。
GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
最新发布
mizhiakk的博客
04-27 965
鲲鹏+GPUStack昇腾Atlas300I duo部署模型DeepSeek-R1【GPUStack实战篇2】
国内外 AI 芯片概述
顺其自然~专栏
01-01 1万+
AI芯片也被称为AI加速器或计算卡，从广义上讲只要能够运行人工智能算法的芯片都叫作 AI 芯片。但是通常意义上的 AI 芯片指的是针对人工智能算法做了特殊加速设计的芯片。本文简要介绍了AI芯片的种类以及一些国内外AI芯片厂商发布的AI芯片。
昇腾AI生态组件全解析：与英伟达生态的深度对比
weixin_45631123的博客
02-23 2359
随着人工智能技术的快速发展，国产AI芯片的崛起正在改变全球计算产业的格局。华为昇腾（Ascend）系列AI处理器凭借自主创新的达芬奇架构，构建了完整的软硬件生态体系。本文将从核心组件对比、显卡性能对标两个维度，深入剖析昇腾与英伟达（NVIDIA）生态的技术差异与适用场景。
深度解析DeepSeek模型系列：从轻量级到超大规模（附DeepSeek硬件配置清单）
m0_52276169的博客
02-08 8490
在人工智能领域，深度学习模型的选择对于任务的执行效率和精度至关重要。DeepSeek模型系列提供了多种不同参数量的版本，以满足不同场景下的需求。本文将详细解析DeepSeek模型系列的特点、适用场景以及硬件需求。
deepseek集群
01-30
### 设置和管理DeepSeek集群 #### 配置环境准备 为了成功部署和管理DeepSeek集群，需先准备好计算资源。通常情况下，建议采用配备有高性能GPU的服务器来加速模型训练过程。根据具体应用场景的不同，可以调整硬件配置以满足性能需求[^3]。 #### 安装依赖库 安装必要的软件包对于构建稳定运行环境至关重要。这包括但不限于Python解释器及其版本兼容性的确认；CUDA Toolkit及相关驱动程序确保与所选图形处理器良好协作；以及其他第三方库如PyTorch等机器学习框架的支持文件。此外，还需特别注意安装由开发者团队专门为DeepSeek定制优化过的HAI-LLM框架，这是实现高效分布式训练的关键组件之一。 ```bash pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu117/ git clone https://github.com/deepseek-llm.git cd hai-llm && pip install . ``` #### 初始化集群参数 定义好网络拓扑结构之后，接下来就是初始化各个节点之间的通信机制。这里涉及到设置主控机角色分配、工作进程间同步策略制定等方面的工作。利用MPI(Message Passing Interface)协议或者类似的工具可以帮助简化这一流程，并使得跨多个物理位置分布式的计算机之间能够有效地协同作业。 #### 启动服务端口监听 完成上述准备工作后，则可着手启动实际的服务实例了。一般来讲，在每台参与运算的任务主机上都需要开启特定编号的服务端口用于接收来自其他成员发送过来的消息请求。与此同时，也要保证防火墙规则允许此类流量顺利通过而不受阻碍。 ```python from mpi4py import MPI comm = MPI.COMM_WORLD rank = comm.Get_rank() if rank == 0: # 主节点执行的操作 else: # 工作节点执行的操作 ``` #### 日志记录与监控体系建立 最后但同样重要的是建立健全的日志管理系统以便于后期维护人员排查可能出现的问题所在。同时引入实时性能指标跟踪手段，比如Prometheus搭配Grafana面板展示方式，从而直观掌握整个系统的健康状况和发展趋势变化情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值