AI智算-DeepSeek-r1:671b性能压测&H100

最新推荐文章于 2025-04-15 18:34:08 发布
最新推荐文章于 2025-04-15 18:34:08 发布
阅读量1.6k 收藏 26
点赞数 16
分类专栏： AI-智算 文章标签： 人工智能 LLM AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengyinwu/article/details/145808355
版权

DeepSeek-r1:671b性能压测&H100

前言

继上次结合K8s、SGLang、LWS 等技术栈，完成分布式 DeepSeek-r1 推理集群的部署后，经过几天的实际使用，发现当并发数达到一定阈值时，性能出现下降。为进一步评估和优化集群性能，现对已部署的 DeepSeek-r1 推理集群进行深入的性能压测。

选型LLM 性能压测工具

经过调研，选择 推理引擎 SGLang 自带的 sglang.bench_serving 基准测试工具，以及 Locust 和 EvalScope 两款成熟的性能测试工具，进行全面的性能评估。

测试环境

  • • CPU：INTEL® XEON® PLATINUM 8558 * 2 （192核/台）
  • • GPU：NVIDIA H100 80GB HBM3 * 2台（共计16卡，显存：1280GB）
  • • RAM：2.0TB/台
  • • OS：Ubuntu 22.04.5 LTS
  • • RDMA：4 * IB(400
了解本专栏 订阅专栏 解锁全文 超级会员免费看
压测报告：DeepSeek-R1-Distill-Qwen-32B模型性能评估
maxcode
02-26 1126
实验结果表明，DeepSeek-R1-Distill-Qwen-32B模型在不同并发请求数下表现出了较强的扩展性和稳定性。随着并发请求数的增加，峰值生成速度有所提升，但在某些场景下（如150个/秒并发请求），生成速度略有下降，可能与资源分配或计算瓶颈有关。实验主要关注模型在不同并发请求数下的峰值生成速度。每秒并发处理请求数100个。每秒并发处理请求数150个。每秒并发处理请求数200个。每秒并发处理请求数70个。每秒并发处理请求数51个。每秒并发处理请求数20个。每秒并发处理请求数6个。
AI智算-K8s+vLLM & Ray：DeepSeek-r1 671B 满血版分布式推理部署实践
Kason_iWiki
04-09 472
自从上次发布 【AI-智算】K8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略] 文章后，本次将演示另一个主流推理引擎工具——vLLM，结合K8s、LWS、Ray、Volcano等技术栈，部署DeepSeek-r1 671b 满血版分布式推理集群，并对比其与SGLang推理引擎的性能表现。
本地部署 DeepSeek-R1-671B 满血版大模型
Phyloser的博客
02-17 3861
DeepSeek-R1大模型具备深度思考和推理能力，在数学、代码、自然语言推理等任务上都有着极大的提升。一方面由于官方或第三方的在线服务或多或少存在不稳定的问题，另一方面考虑到数据安全和隐私问题，本地私有化部署DeepSeek开源大模型对个人或企业来说也是一种不错的选择。本文主要介绍完整参数版本 deepseek-r1-671b 模型的部署和测试过程，对 deepseek-v3-671b 以及其他更小参数版本的模型同样适用。
ollama修改配置使用多GPU，使用EvalScope进行模型压力测试，查看使用负载均衡前后的性能区别
最新发布
百年孤独百年的博客
04-15 2647
由于ollama默认调用模型，模型实例会运行在一张卡上，如果有几张显卡，模型只会永远跑在第一张卡上，除非显存超出，然后才会将模型跑在第二张卡，这造成了资源很大的浪费。网上通过修改ollama.service的配置。修改之后可以负载均衡，显存平均分配在集群中的每张卡上，但是我不太了解这种方式是否会提升模型吞吐量？和默认的调用单卡实例有啥区别呢？
压测篇 | Ollama+Nginx+4090打造DeepSeek-R1-32B高可用大模型集群，助力企业拥抱AI时代
m0_59235245的博客
02-15 1236
今年是系列模型深入千行百业，助力企业全面拥抱的关键一年！在下，采用方案至关重要，大模型推理是计算密集型任务，所以每个用户任务采用单线程处理，这就使推理性能和并发能力受到了限制。
压力测试与人工智能：如何利用AI提高压力测试效率
OKCRoss的博客
03-25 1424
长短期记忆网络(LSTM)：$$ it = \sigma(W{xi}xt + W{hi}h{t-1} + bi) \ ft = \sigma(W{xf}xt + W{hf}h{t-1} + bf) \ ot = \sigma(W{xo}xt + W{ho}h{t-1} + bo) \ gt = \tanh(W{xg}xt + W{hg}h{t-1} + bg) \ ct = ft \cdot c{t-1} + it \cdot gt \ ht = ot \cdot \tanh(ct) $$
务实测试：DeepSeek 各家 API 真实速度（附：测试脚本）
m0_59235245的博客
02-14 4020
这个测试方法一点都不复杂，包含以下步骤：通过 API 向模型服务器发送请求，记录当前时间为 t0当模型返回第一个字符时，记录为 t1，此刻开始推理当模型推理结束、开始生成内容时，记录为 t2当生成结束时，记录为 t3当 stream_options={“include_usage”: True} 的时候，模型会记录并输出以下信息推理阶段所使用的 token，记做：T推生成阶段所使用的 token，记做：T生因此，可知：模型的首响应时间：t1 - t0模型的推理速度：T推/(t2-t1)
从零开始：H20服务器上DeepSeek R1 671B大模型部署与压力测试全攻略
wangli的博客
03-02 1万+
最近，我有幸在工作中接触到了DeepSeek R1 671B模型，这是目前中文开源领域参数量最大的高质量模型之一。DeepSeek团队在2024年推出的这款模型，以其惊人的6710亿参数量和出色的推理性能，引起了业界广泛关注。作为一名AI基础设施工程师，我有机会在H20服务器上部署这个庞然大物，并对其进行了全面的压力测试。这篇文章将详细记录我的部署过程和性能测试方法，希望能为大家提供一些参考。💡为什么选择DeepSeek R1？超大规模参数量（671B）优秀的中英文理解能力开源可商用的许可证。
【AI 测试】Linux 查看日志与压测命令：FinalShell 查看 AI 语言大模型问答实时日志与 TTS 压测
顾三殇 —— 博客空间（软件测试）
03-26 1815
AI 虚拟人测试 —— Linux 命令：查看 APP 实时 AI 问答消息的 websocket 类型、全部类型、向量数据库人设测试、TTS 服务器日志；TTS 服务器压测；BS 服务器压测。
AI智算-k8s+SGLang实战：DeepSeek-r1:671b满血版多机多卡私有化部署全攻略
Kason_iWiki
02-23 1505
随着 DeepSeek AI 大模型的崛起，近期私有化部署逐渐成为行业趋势。常见的部署方式之一是使用 Ollama，这对于个人用户和本地开发环境而言，具有较好的兼容性，尤其是支持各种 GPU 硬件和大模型的兼容性，且无需复杂的配置就能够启动。然而，相比于专业的推理引擎，如 SGLang、vLLM，Ollama 在性能上存在一定差距。今天，阿程将介绍如何结合云原生K8s、SGLang、LeaderWorkerSet 和 Volcano 等技术栈，来高效部署分布式 DeepSeek-r1 满血版推理集群。
【实战篇】【深度解析DeepSeek私有化部署：从硬件选择到避坑指南（万字长文）】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
02-24 1183
私有化部署不是终点而是起点，建议企业分三步走：① 先用1.5B版本完成POC验证② 通过7B版本跑通业务闭环③ 最终按场景需求选择专业版本如果预算允许，建议购买原厂金牌服务，关键时刻能节省数周排查时间。（注：文中价格数据参考2025年2月市场行情，具体以厂商报价为准）
AI系统压力测试原理与代码实战案例讲解
AI智能涌现深度研究
06-19 1392
AI系统压力测试原理与代码实战案例讲解 1.背景介绍 随着人工智能（AI）技术的迅猛发展，AI系统在各个领域的应用越来越广泛。然而，AI系统的复杂性和规模也在不断增加，这对系统的稳定性和性能提出了更高的要求。压力测试作为一种重要的测试方法，能够帮助我们评估AI系统在高负载条件下的表现，
手把手教你驯服DeepSeek-R1！部署+测试+性能优化万字全攻略
datian1234的博客
03-05 1486
本文详细介绍了如何部署和测试DeepSeek-R1模型，涵盖了从Ollama到vLLM的多种推理框架的安装与配置，并提供了性能测试结果和优化建议，帮助用户在多机多卡环境下高效运行大模型。
部署 DeepSeek-R1，配置、价格与并发量全攻略！
小码哥AI、互联网副业项目
02-24 3162
大家好，我是小码哥，今天给大家带来的是部署 DeepSeek-R1 的详细攻略，包括硬件配置、价格以及软件环境和并发量的考虑，让你轻松上手！
deepseek 671B 版本推理究竟需要什么样的GPU H100, H20, A6000,TRX 4090
热门推荐
weixin_43480227的博客
02-06 1万+
或者 8卡 80G显存的H800. 可以考虑2.51-bit量化版本 预测速度预估20~30TPS (待验证)或者 8卡 40G显存的A6000. 可以考虑2.51-bit量化版本 预测速度预估3~10TPS （待验证）基于8卡 24G 显存的4090 全可以考虑1.58-bit版本，预测速度预估3~10TPS （待验证）基于4/ 8卡96G 显存H20 , 预测速度22tps 8张卡每张卡显存占用30。跟进DeepSeek-R1：动手部署671B模型推理（2.51-bit量化）
用DeepSeek + Locust + Streamlit实现智能并发测试：从压测到分析的全链路自动化
software_test010的博客
04-07 783
本文将分享这套工具链的落地实践，涵盖如何通过Streamlit快速搭建压测控制台、利用Locust生成高并发流量，以及调用DeepSeek模型智能分析瓶颈并提供优化建议。
【赞奇实测】4090涨疯了，32GB 5000 Ada 跑 DeepSeek 32B FP16 并发测试
Xsuperzone的博客
02-19 1513
DeepSeek R1 32B的企业私有化部署场景，推荐 4卡 RTX 5000 Ada 机型，性能和成本效益方面表现出色，满足企业级应用的高并发需求。
vLLM框架在不同主流GPU卡推理性能测评
2401_85375186的博客
11-21 5267
选择恰当的GPU卡来部署大语言模型至关重要。它不仅可以确保用户通过更快的生成速度获得最佳体验，还可以通过更高的 Token 生成率和资源利用率来降本增效。本文将讲述如何评估LLM的推理性能以及vLLM框架在不同主流GPU卡（4090/A800/H800/H20等）上进行推理性能测评。LLM推理过程LLM推理服务的目标常见LLM推理服务性能评估指标LLM推理优化技术LLM基准测试说明LLM基准测试输入的选择LLM基准测试并发请求的选择LLM张量并行的选择基于丹摩智算云进行推理环境构建。
deepseek测试工具
02-11
### DeepSeek 测试工具的功能介绍 DeepSeek 测试工具旨在帮助开发者验证应用程序接口(API)的行为是否符合预期，确保API功能正常运行。该工具支持多种测试场景，包括但不限于单元测试、集成测试以及负载测试。 #### 单元测试 通过模拟请求来检验单个端点的功能准确性，能够快速定位错误源并提高调试效率[^1]。 #### 集成测试 用于评估不同模块间交互情况下的整体性能表现，有助于发现潜在兼容性问题，保障系统的稳定性和可靠性。 #### 负载测试 模拟大量并发访问情景下系统响应时间及吞吐量变化趋势，提前识别可能存在的瓶颈位置以便优化改进。 ### DeepSeek 测试工具使用指南 #### 准备工作 - 创建项目专属目录结构，并初始化Git仓库（可选） - 构建适合项目的虚拟环境以隔离依赖关系： ```bash virtualenv -p python3 deepseek_test_env source deepseek_test_env/bin/activate ``` 安装必要的Python包和其他依赖项，具体命令如下所示: ```bash pip install requests pytest locustio ``` 以上操作完成后即可开始编写针对特定需求定制化的自动化脚本文件[^3]。 #### 编写测试案例 对于简单的HTTP GET/POST方法调用可以直接采用`requests`库完成；而对于更复杂的业务逻辑则推荐借助于`pytest`框架实现参数化处理等功能扩展[^4]。 当涉及到高并发压力仿真时，则可以考虑引入LocustIO这样的开源分布式压测平台来进行大规模流量注入实验设计。 ```python import requests def test_api_get(): url = "http://localhost:8000/api/v1/resource" response = requests.get(url) assert response.status_code == 200, f"Unexpected status code {response.status_code}" data = response.json() assert isinstance(data['id'], int), "ID should be an integer value" if __name__ == "__main__": test_api_get() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

寻花之梦~~

谢谢老板的支持和鼓励！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值