本地部署量化满血版本deepseek的Ktransformer清华方案的硬件配置
上图来自Ktransformers安装指导手册
以下是我在京东找到的对应的配置
- 双通道服务器主板:华硕, Z13PE-D16 x 1--------------------------7,099 RMB
- Cpu:intel,金牌6454S/32核64线程 x 2 -----------31500 x 2 = 63,000 RMB
- GPU:nvidia,4090D 24GB显存 x 1 --------------------------------17,589 RMB
- 固态硬盘:WD,SSD 2TB -------------------------------------------------849 RMB
- 内存:SK HYNIX,DDR5 5600 64G x 16 --------2186 x 16 = 34,976 RMB
- 机箱:爱国者 YOGO Z1 x 1 ---------------------------------------------1,359 RMB
- Cpu风扇:金钱豹,LGA46 -------------------------------------------------320 RMB
- 机箱风扇:追风者,T30 120/工业级/三联包----------------------------469 RMB
- 电源:振华,LEADEX P2000W-----------------------------------------3,599 RMB
- 总价--------------------------------------------------------------------------129,260 RMB
太TM贵了,有没有一半价格的配置
太Tm贵了,所以我就继续看手册,看是否有低配版,我高低得尝尝本地部署deepseek咸淡。
然后,我发现单通道cpu版本,输出token的速度只是降低了23%,每秒可以输出10个汉字(假设一个token可以简单对应一个汉字)
我就放弃了双通道。
由于清华团队用的cpu卡太贵了,我也做了更换。
此外,我还在Ktransformers安装指导手册中找到了内存最低配置清单。
为了让价格砍一半。我找了一份新的购物列表,如图所示:
- 双通道服务器主板:技嘉, MS73 –HB1 双千兆网口 x 1---------6,920 RMB
- Cpu:intel,Xeon 6430 x1 ---------------------------------------------13,199 RMB
- GPU:nvidia,4090D 48GB显存 x 1 --------------------------------20,589 RMB
- 固态硬盘:WD,SSD 2TB -------------------------------------------------849 RMB
- 内存:SK HYNIX,DDR5 5600 64G x 6 -------------2186 x 6 = 13,116 RMB
- 机箱:爱国者 YOGO Z1 x 1 ---------------------------------------------1,359 RMB
- Cpu风扇:金钱豹,LGA46 -------------------------------------------------320 RMB
- 机箱风扇:追风者,T30 120/工业级/三联包----------------------------469 RMB
- 电源:振华,LEADEX P2000W-----------------------------------------3,599 RMB
- 总价---------------------------------------------------------------------------60,438 RMB
这份清单中,我将4090D 24GB显卡更换成了4090D 48GB显卡,是期望用多一点的显存,去弥补cpu性能低的缺憾。依旧保留双通道主板,是为了后续添加cpu、显卡做考虑。
我已经把价格砍了一半,不知道大家有没有更低的版本。