DeepSeek 满血版 8卡 H20 141GB 并发压力测试,体验极致性能!

前段时间技术同事完成了对中小模型的测试验证。分别测试了 RTX 5000 Ada和RTX 5880 Ada 显卡运行 DeepSeek 7B/14B/32B 等模型的并发性能与部署效率

近期我们针对 DeepSeek 满血版 671B 进行了并发性能的测试,搭载的是 8张 NVIDIA H20(单卡显存141GB)的服务器,我们来看看测试结果。

测试版本: 

DeepSeek-R1 671B

测试框架:vllm

测试环境:

GPU:H20*8(单卡141GB,共1128GB)

CPU:英特尔 至强® Platinum 8480+ *2

内存:2T DDR5  硬盘:3.84TB

测试数据仅供参考:

图片

我们在压力并发测试中分别测试了 2 种常见的使用场景:

1、问答对话场景

图片

特点:直接回答用户提出的问题,通常基于预定义的规则、知识库或简单检索。

测试结果:

并发数在80以内,吞吐率可以达到>9 tokens/s,在简单对话场景的表现优秀。

2、模拟RAG场景

图片

特点:结合检索外部知识库与生成模型,动态生成精准、上下文相关的答案。

测试结果:

基本可以满足32个并发,吞吐率>6 tokens/s。可以流畅地对海量文档和数据库进行检索并输出内容。

测试小结

  • 对话问答场景:基本可以满足 80 个并发。当并发数<80 时,Tokens/s>9。

  • 模拟RAG场景:基本可以满足 32 个并发。当并发数<32 时,Tokens/s>6。

  • 后端服务稳定运行,配合前端实际使用体验效果优秀,延迟很低。

综上所述,使用8卡H20配置进行 DeepSeek 671B 的满血版本地化部署,能够很好地应对企业高并发的实际使用场景,想用671B的建议直接上!

图片

### 关于 Deepseek671b 和 H2O-141 的技术信息 对于 Deepseek671b 和 H2O-141 这两个特定的技术或产品,当前的信息较为有限。然而,在北京大学多媒体信息处理重点实验室以及PKU-Anker LLM 实验室的工作中提到的研究进展可能与此类大型模型有关[^1]。 #### Deepseek671b 技术概述 Deepseek671b 可能是指一种具有大规模参数量的语言模型或其他类型的深度学习模型。这类模型通常具备强大的自然语言理解和生成能,适用于多种高级应用场合,如对话系统、机器翻译等。由于其庞大的规模,该模型可能会面临与 GQA/MQA 等现代高效解码架构的内存共享设计冲突的问题,这会限制内存访问优化的潜[^2]。 #### H2O-141 技术分析 关于 H2O-141 的具体细节同样不详尽,但从命名推测可能是某个特定本或是针对某一领域定制化的解决方案。如果这是一个基于水(H₂O)相关的模拟工具或者是某种化学物质,则需要查阅更专业的文献来获取确切的功能描述和技术规格。 为了获得最准确的产品说明和技术文档,建议直接联系制造商或开发者团队索取官方发布的使用手册及相关资料。此外,也可以通过学术数据库和专利库进一步探索这两个项目的背景信息和发展历程。 ```python # 示例代码用于展示如何查询相关资源(假设存在API接口) import requests def fetch_technical_docs(model_name): url = f"https://api.example.com/search?query={model_name}" response = requests.get(url) if response.status_code == 200: return response.json() else: raise Exception("Failed to retrieve documents") try: deepseek_info = fetch_technical_docs('Deepseek671b') h2o_info = fetch_technical_docs('H2O-141') except Exception as e: print(e) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值