DeepSeek系列模型
Atlas 800I A2 服务器使用 BF16 和 INT8 权重类型
Atlas 300I DUO/Atlas 300I Pro/Atlas 300V 使用 FP16 和 INT8 权重类型
模型 | 硬件设备 | 权重格式 | TP | ModelZoo |
---|---|---|---|---|
DeepSeek-V3 | Atlas 800I A2(8*64G) * 4 | DeepSeek-V3-模型库-ModelZoo-昇腾社区 | ||
Atlas 800I A2(8*64G) * 2 | ||||
DeepSeek-R1 | Atlas 800I A2(8*64G) * 4 | DeepSeek-R1-模型库-ModelZoo-昇腾社区 | ||
Atlas 800I A2(8*64G) * 2 | ||||
DeepSeek-R1-Distill-Llama-70B | Atlas 800I A2 * 1 | DeepSeek-R1-Distill-Llama-70B-模型库-ModelZoo-昇腾社区 | ||
DeepSeek-R1-Distill-Qwen-32B | Atlas 800I A2 * 1 | DeepSeek-R1-Distill-Qwen-32B-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 2 | ||||
DeepSeek-R1-Distill-Qwen-14B | Atlas 800I A2 * 1 | DeepSeek-R1-Distill-Qwen-14B-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||
Atlas 300I Pro * 2 | ||||
Atlas 300V * 2 | ||||
DeepSeek-R1-Distill-Llama-8B | Atlas 800I A2 * 1 | DeepSeek-R1-Distill-Llama-8B-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||
Atlas 300I Pro * 1 | ||||
Atlas 300V * 1 | ||||
DeepSeek-R1-Distill-Qwen-7B | Atlas 800I A2 * 1 | DeepSeek-R1-Distill-Qwen-7B-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||
Atlas 300I Pro * 1 | ||||
Atlas 300V * 1 | ||||
DeepSeek-R1-Distill-Qwen-1.5B | Atlas 800I A2 * 1 | DeepSeek-R1-Distill-Qwen-1.5B-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||
Atlas 300I Pro * 1(华为社区没写适配,但是客户场景跑通了) |
Qwen2.5系列模型
Qwen2.5系列模型当前800I A2采用bf16, 300I DUO使用fp16
模型 | 硬件设备 | 权重格式 | TP | ModelZoo |
---|---|---|---|---|
Qwen2.5-72B-Instruct | Atlas 800I A2 * 1 | Qwen2.5-72B-Instruct-模型库-ModelZoo-昇腾社区 | ||
Qwen2.5-32B-Instruct | Atlas 800I A2 * 1 | Qwen2.5-32B-Instruct-模型库-ModelZoo-昇腾社区 | ||
Qwen2.5-14B-Instruct | Atlas 800I A2 * 1 | Qwen2.5-14B-Instruct-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||
Qwen2.5-7B-Instruct | Atlas 800I A2 * 1 | Qwen2.5-7B-Instruct-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||
Qwen2.5-1.5B-Instruct | Atlas 800I A2 * 1 | Qwen2.5-1.5B-Instruct-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||
Qwen2.5-0.5B-Instruct | Atlas 800I A2 * 1 | Qwen2.5-0.5B-Instruct-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 |
Qwen系列模型
Qwen系列模型当前800I A2采用bf16, 300I DUO使用fp16
模型 | 硬件设备 | 权重格式 | TP | ModelZoo |
---|---|---|---|---|
QwQ-32B | Atlas 800I A2 * 1 | QwQ-32B-模型库-ModelZoo-昇腾社区 | ||
Atlas 300I DUO * 1 | ||||