2303_77079826的博客

原创 A100由于vLLM框架的Deepgemm无法本地部署Deepseekv4解决方案

本文分享了在8张A100服务器上本地部署DeepSeek-V4模型的经验。作者尝试使用FP8+FP4混合精度部署时遇到Ampere架构不兼容问题，最终通过nisparks的llama.cpp分支成功实现。具体步骤包括：1)编译支持CUDA的llama.cpp版本；2)下载转换后的GGUF模型；3)启动服务并配置参数。虽然模型输出自认为V3版本，但经API验证确为V4模型。该方案为暂时无法使用VLLM框架的用户提供了替代方案，建议结合在线搜索工具提升使用效果。