Atlas系列硬件对LLM语言大模型的适配支持程度

DeepSeek系列模型

Atlas 800I A2 服务器使用 BF16 和 INT8 权重类型

Atlas 300I DUO/Atlas 300I Pro/Atlas 300V 使用 FP16 和 INT8 权重类型

模型	硬件设备	权重格式	TP	ModelZoo
DeepSeek-V3	Atlas 800I A2（8*64G） * 4			DeepSeek-V3-模型库-ModelZoo-昇腾社区
	Atlas 800I A2（8*64G） * 2
DeepSeek-R1	Atlas 800I A2（8*64G） * 4			DeepSeek-R1-模型库-ModelZoo-昇腾社区
	Atlas 800I A2（8*64G） * 2
DeepSeek-R1-Distill-Llama-70B	Atlas 800I A2 * 1			DeepSeek-R1-Distill-Llama-70B-模型库-ModelZoo-昇腾社区
DeepSeek-R1-Distill-Qwen-32B	Atlas 800I A2 * 1			DeepSeek-R1-Distill-Qwen-32B-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 2
DeepSeek-R1-Distill-Qwen-14B	Atlas 800I A2 * 1			DeepSeek-R1-Distill-Qwen-14B-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1
	Atlas 300I Pro * 2
	Atlas 300V * 2
DeepSeek-R1-Distill-Llama-8B	Atlas 800I A2 * 1			DeepSeek-R1-Distill-Llama-8B-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1
	Atlas 300I Pro * 1
	Atlas 300V * 1
DeepSeek-R1-Distill-Qwen-7B	Atlas 800I A2 * 1			DeepSeek-R1-Distill-Qwen-7B-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1
	Atlas 300I Pro * 1
	Atlas 300V * 1
DeepSeek-R1-Distill-Qwen-1.5B	Atlas 800I A2 * 1			DeepSeek-R1-Distill-Qwen-1.5B-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1
	Atlas 300I Pro * 1（华为社区没写适配，但是客户场景跑通了）

Qwen2.5系列模型

Qwen2.5系列模型当前800I A2采用bf16， 300I DUO使用fp16

模型	硬件设备	权重格式	TP	ModelZoo
Qwen2.5-72B-Instruct	Atlas 800I A2 * 1			Qwen2.5-72B-Instruct-模型库-ModelZoo-昇腾社区
Qwen2.5-32B-Instruct	Atlas 800I A2 * 1			Qwen2.5-32B-Instruct-模型库-ModelZoo-昇腾社区
Qwen2.5-14B-Instruct	Atlas 800I A2 * 1			Qwen2.5-14B-Instruct-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1
Qwen2.5-7B-Instruct	Atlas 800I A2 * 1			Qwen2.5-7B-Instruct-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1
Qwen2.5-1.5B-Instruct	Atlas 800I A2 * 1			Qwen2.5-1.5B-Instruct-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1
Qwen2.5-0.5B-Instruct	Atlas 800I A2 * 1			Qwen2.5-0.5B-Instruct-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1

Qwen系列模型

Qwen系列模型当前800I A2采用bf16， 300I DUO使用fp16

模型	硬件设备	权重格式	TP	ModelZoo
QwQ-32B	Atlas 800I A2 * 1			QwQ-32B-模型库-ModelZoo-昇腾社区
	Atlas 300I DUO * 1