DeepSeek推理：910B为何是绝佳之选

最新推荐文章于 2025-03-03 19:42:21 发布
最新推荐文章于 2025-03-03 19:42:21 发布
阅读量576 收藏
点赞数 8
文章标签： 人工智能 gpu算力
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2502_90485365/article/details/145743358
版权

在DeepSeek推理领域，910B脱颖而出成为热门选择啦！

从性能上看，910B有着强大的算力支撑，像推理套餐 - 满血版搭配两台910B型智算平台，能完美适配DeepSeek - V3、V2、R1等应用模型，让推理过程更流畅高效。

在不同套餐组合里，无论是蒸馏套餐的各参数模型微调，还是推理套餐的多样应用，910B都能发挥关键作用，满足不同的推理需求。

对DeepSeek推理感兴趣的友友们，910B真的值得深入探索哦

 

 

现时云
关注
华为昇腾Ascend系列 之 01 什么是昇腾芯片？AIGC浪潮已至，进一步推动对芯片和算力的需求，主流 GPGPU/ASIC 产品性能对比（Ascend 910、Ascend 910B）
iCloudEnd的博客
06-03 4209
昇腾 310 和 910 处理器为华为AI 算力领域核心产品，910 单卡 Int8 算力大致可达 0.6 P，最大功耗为 300W，已可对标国际主流 GPU。且昇腾计算产业在硬件方面坚持“硬件开放”策略，通过自有硬件和合作硬件相结合的方式，可为客户提供多样化的算力选择。
DeepSeek 系列之 构建我自己的 DeepSeek Janus Pro Web 界面：使用 Gradio 进行本地实验
iCloudEnd的博客
01-30 867
在探索了 DeepSeek-R1 并使用 Ollama 在本地运行模型后，我忍不住深入研究了 DeepSeek Janus Pro。但这次，我想更进一步：创建自己的 Web 界面来与模型交互，就像 Hugging Face 上的一样。剧透警告：它并不完美（是的，它很慢），但它有效——而且我在这个过程中学到了很多东西！
华为昇腾910b服务器部署DeepSeek翻车现场
qq_73797346的博客
02-16 4518
最近到祸一台HUAWEI Kunpeng 920 5250，先看看配置。之前是部署的讯飞大模型，发现资源利用率太低了。把5台减少到3台，就出西安了它。华为昇腾920b服务器部署DeepSeek翻车现场
GPU 学习笔记一：从A100与910B分析中，学习GPU参数的意义。
汝飞@大模型 的博客
10-27 5922
A100芯片，承袭英伟达技术精髓，不仅深度学习AI性能出众，更在图像处理及通用计算领域展现卓越性能，全面领先行业。910B芯片，专为神经网络芯片NPU设计，具备超大矩阵与高带宽内存系统，矩阵运算与流水并行处理能力卓越。在深度学习场景中，尤其在GEMM计算上，其性能表现尤为突出。由于行业技术封锁，国内芯片在制程工艺上尚有欠缺，910B采用7nm技术，落后于4nm技术，910B功耗400W，落后于A100的300W，这就使得国内芯片集成度和能效低于国外，还有较大提升空间。
华为昇腾 910B 部署 DeepSeek-R1 蒸馏系列模型详细指南
MnivL的博客
02-17 6893
本文全面记录了在华为昇腾 910B (65GB) * 8 上部署 DeepSeekR1 蒸馏系列模型（14B、32B）的全过程及测试结果。涵盖模型下载、权重转换、环境依赖安装、镜像拉取与启动、环境确认以及模型服务启动配置设置等环节。文中详细介绍了每一步的操作命令和注意事项，并对可能出现的问题提供了相应的解决方法和建议，为相关技术人员提供了完整且实用的部署参考。
华为升腾910b3 八卡 跑deepseek-r1 671b
hotwa的博客
02-01 1300
虽然能顺利识别华为升腾NPU，也能成功加载但是无法推理。
智能云：910B适合推理场景吗？
最新发布
云计算、数据库爱好者
03-03 342
众所周知，国产化算力发展迅猛，以为华为、寒武纪、壁仞科技和摩尔线程为代表的新型算力企业不断展露头角，在算力能力上完全不输英伟达的高端显卡，910B面世以来，主要以支撑高能级的训练任务为主，但是他适合推理场景吗？支持大规模模型的推理，如自然语言处理（NLP）中的BERT、GPT，以及计算机视觉中的ResNet、YOLO等，910B不仅适合训练任务，也能高效支持推理场景，尤其是在需要高性能、低延迟和大规模模型推理的场景中表现突出。应用领域：智能客服、语音助手、内容审核。应用领域：智能制造、智慧城市、智能家居。
昇腾910B部署deepseek蒸馏版
qq_41374319的博客
02-28 257
昇腾设备部署deepseek蒸馏版
昇腾910B部署满血DeepSeek-R1(可推理版)
qq_73797346的博客
02-22 2673
记录本周大模型的部署情况，使用昇腾910B物理机部署DeepSeek-R1满血大模型，可显示推理过程。
4*910B1のDeepSeek-R1部署
小白菜的博客
02-27 349
部署DeepSeek-R1模型用BF16权重进行推理至少需要4台Atlas 800I A2（864G）服务器，用W8A8量化权重进行推理则至少需要2台Atlas 800I A2 (864G)
HuaWei、NVIDIA 数据中心 AI 算力对比
JiaWen的博客
12-24 1万+
基于 PCIe 的 NVIDIA H100 NVL（带有 NVLink 桥接）利用 Transformer Engine、NVLink 和 188GB HBM3 内存，在任何数据中心提供最佳性能和轻松扩展，使大型语言模型成为主流。
《DeepSeek R1：大模型最简安装秘籍》：此文为AI自动生成
zheng_ruiguo的专栏
02-01 1408
DeepSeek R1 就像一颗充满潜力的种子，已经在人工智能的土壤中生根发芽。相信在未来，它将茁壮成长为一棵参天大树，为我们的生活、工作和社会发展带来更多的惊喜和改变。让我们共同期待 DeepSeek R1 在未来的精彩表现，勇敢地探索它的更多潜力，一起见证人工智能时代的辉煌篇章。
评测AI 在金融领域的能力：开源大语言模型的比较分析
alvincho的博客
04-27 944
了解这些模型在标准化提示设定下的执行情况，其中每个模型都充当“财务分析师”，以JSON 格式简洁地回答查询。该分析不仅揭示了人工智慧在金融查询中的现状，而且旨在指导金融科技领域的未来发展和实施。
使用 DeepSeek R1 的 RAG 和 Graph RAG：一种更智能的方法 检索增强生成 (RAG) 和 Graph RAG 彻底改变了 AI 系统与数据交互的方式。通过将强大的检索机制与生成
iCloudEnd的博客
02-01 374
随着高效且经济高效的开源模型DeepSeek R1的出现，构建优化的 RAG 系统变得比以往任何时候都更加容易。在本指南中，我们将介绍整个过程，包括设置、实施和实际用例。DeepSeek R1 是一种开源大型语言模型(LLM)，旨在与 OpenAI 等专有 AI 模型竞争。它针对推理、基于检索的任务和成本效益进行了优化，使其成为开发强大的 RAG 系统的绝佳选择。主要优势包括MIT 许可证：开源且具有商业可行性。增强检索准确性：通过结构化推理提高搜索精度。成本效益：比专有模型更实惠。
在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理
2301_78285120的博客
11-03 3594
异构 GPU 支持：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal、华为昇腾和摩尔线程等各种类型的 GPU/NPU多推理后端支持：支持vLLM和推理后端，兼顾生产性能需求与多平台兼容性需求多平台支持：支持 Linux、Windows 和 macOS 平台，覆盖 amd64 和 arm64 架构多模型类型支持：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型 和 Reranker 重排序模型等各种类型的模型多模型仓库支持。
深度分析下 DeepSeek-R1 用华为昇腾，推理集群大概多大？
强化学习曾小健
02-02 1368
单卡拥有 140 TOPS INT8 和 70 TFLOPS FP16，这个性能足够推理用，但关键的内存则使用了LPDDR4X 24 GB，总带宽204.8 GB/s。，因此单柜性能在12TB推理内存, 推理速度极限是1024 token/s，如果每个用户给60 token/s， 那么理论上单柜并发量在17左右。（RAID卡还有个PCIe 4.0 ，但8卡应该是极限，因为还要联网），那么至少应该是个。)，内存翻倍，LPDDR4X 96GB或48GB，总带宽408GB/s。（4U机器，单柜8台）
天翼云910B部署DeepSeek蒸馏70B LLaMA模型实践总结
wangli的博客
02-15 3423
天翼云通过910b部署deepseek r1 70b蒸馏模型
GPU 进阶笔记（二）：华为昇腾 910B GPU
热门推荐
hao_wujing的专栏
12-30 3万+
！
mac部署deepseek r1：671b需要什么配置
02-12
### Mac上部署DeepSeek R1:671b所需硬件和软件配置 #### 硬件需求 对于在Mac设备上部署具有671亿参数的DeepSeek R1模型，推荐使用配备有高性能GPU的机器来加速推理过程。然而，当前M系列芯片（如M1, M2及其Pro和Max变种）虽然具备一定的神经引擎处理能力，但对于如此大规模的模型来说可能仍显不足。理想情况下，建议采用外接GPU解决方案或是通过云端服务获取更强算力支持。 具体到本地环境： - **处理器**: Apple Silicon (M1及以上)，但需注意内置图形性能局限性。 - **内存(RAM)**: 至少64GB，考虑到该规模模型的数据量庞大，更多RAM有助于提高运行效率[^1]。 - **存储空间**: SSD固态硬盘至少500GB可用容量用于安装必要的依赖项以及缓存数据集等资源文件。 - **外部GPU选项**: 如果计划利用Metal框架进行优化，则可以考虑连接兼容Thunderbolt 3/4接口的专业级独立显示卡作为辅助计算单元；不过这取决于苹果官方对外设的支持程度。 #### 软件准备 为了顺利搭建适合于执行上述任务的操作平台，在操作系统方面应确保已更新至最新稳定版macOS Ventura或更高版本，并完成如下设置步骤： - 安装Homebrew包管理工具以便简化后续命令行操作中的库文件下载流程。 ```bash /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" ``` - 使用pip或其他Python包管理系统安装PyTorch nightly build版本以及其他相关科学计算库，比如transformers、datasets等来自Hugging Face社区维护的开源项目集合体。 ```bash pip install torch torchvision torchaudio --pre --extra-index-url https://download.pytorch.org/whl/nightly/cpu pip install transformers datasets accelerate optimum ``` 值得注意的是，由于Apple silicon架构下的原生CUDA驱动缺失问题，即使接入了第三方PCle扩展坞内的NVIDIA产品也无法直接调用其核心特性来进行并行运算加速工作。因此，如果确实需要借助非ARM指令集的优势，不妨尝试基于云服务平台租借按需实例的方式开展实验性质的研究活动。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值