A8W4量化方案，Atlas 800I A2 单机部署满血DeepSeek V3

1 环境及配套软件

Atlas 800I A2 单卡64GB显存，服务器内存1.5T以上。

下载MindIE镜像：2.0.RC1.B120-800I-A2-py3.11-openeuler24.03-lts-aarch64
下载链接。

下载msit量化工具msmodelslim，链接和说明。

2 权重量化

量化开始前，需要对权重文件夹里的部分文件做处理。

2.1 安装transformers

pip3 install transformers==4.48.2

2.2 原始权重config.json中删除quantization_config

# "quantization_config": {
# "activation_scheme": "dynamic",
# "fmt": "e4m3",
# "quant_method": "fp8",
# "weight_block_size": [
# 128,
# 128
# ]
# },

2.3 注释掉权重文件夹中modeling_deepseek.py中的部分代码

vim modeling_deepseek.