DeepSeek系列模型
Atlas 800I A2 服务器使用 BF16 和 INT8 权重类型
Atlas 300I DUO/Atlas 300I Pro/Atlas 300V 使用 FP16 和 INT8 权重类型
模型 | 硬件设备 | 权重格式 | TP | ModelZoo |
---|---|---|---|---|
DeepSeek-V3 | Atlas 800I A2(8*64G) * 4 | DeepSeek-V3-模型库-ModelZoo-昇腾社区 | ||
Atlas 800I A2(8*64G) * 2 | ||||
DeepSeek-R1 | Atlas 800I A2(8*64G) * 4 | DeepSeek-R1-模型库-ModelZoo-昇腾社区 | ||
Atlas 800I A2(8*64G) * 2 | ||||
DeepSeek-R1-Distill-Llama-70B | Atlas 800I A2 * 1 | DeepSeek-R1-Distill-Llama-70B-模型库-ModelZoo- |