新华三DeepSeek一体机的测试结果 by B站无情开评
声明:这篇文章的原视频是14.99 万起?新华三DeepSeek 一体机值得入手吗?,学习的目的转记这里,无意侵权,如有侵权,必删。
首先感谢B站无情开评,这篇文章主要是14.99 万起?新华三DeepSeek 一体机值得入手吗?这个视频中测试结果进行的截图,非本人亲测结果。如果觉得测试结果对你有帮助,欢迎去B站支持一下无情开评。(声明:B站无情开评和本人毫无关系,只是方便后续学习,所以将其视频的测试截图发布到这里)
要点1:一体机里面预装了DeepSeek大模型和提供了可视化的WebUI,还提供升级服务
要点2:支持intel和ADM2家的CPU都支持。
要点3:DR5000的总显存有1128G,DR3000的总显存是192G
DR5000的总显存有1128G
DR3000的总显存是192G
要点4:测试结果
主要包括并发数,上下文长度,首token时间,token生成速率。
要点4-1:DR5000 DeepSeek-671B的测试结果
128 token 的测试结果
1024并发下,token生成速率是 3355/s
每个首token的生成基本都在1秒以内
但是每个请求的平均token生成速率,128并发在10个/s左右。256并发和1024并发很低。
实际生产环境下,128个并发10个token/s能满足企业用户的正常体验(B站无情开评观点)。个人平时使用体验,感觉至少30~50个token/s才算正常。
1024 token 的测试结果
首token,1024并发延迟非常大
32并发下,生成token速率在12个/s左右。
1024 token的情况,128并发应该是理想状态(B站无情开评观点)
要点4-2:DR3000 DeepSeek-8B,DeepSeek-32B和DeepSeek-70B的测试结果
DeepSeek-8B的,128 token和1024 token
测试结果都比较理想。
DeepSeek-32B 128 token的测试结果
DeepSeek-32B 1024 token的测试结果
DeepSeek-70B 1024 token的测试结果
要点4-3:DR3000 DR5000 QWQ-32B的测试结果
DR5000 128 token 的测试结果
DR3000 128 token 的测试结果
DR3000 DeepSeek-32B和QWQ-32G 128 token 的测试结果对比
DR5000 1024 token 和 2048 token 的测试结果
在确认视频中这页截图???是否正确
其他:
视频中有个DS-Install目录,是厂商自带的?还是B站无情开评创建的?