01 部署预知
本地部署大模型对于普通人来说最重要的硬件资源。在部署之前,我们有必要认识一下在一般情况下,不同参数的DeepSeek-R1模型需要配置。之前《【小白入门篇6】常识|怎么计算模型需要的资源》文章有提过如何预估模型训练和推理的硬件信息。
上述表格来源于:https://dev.to/askyt/deepseek-r1-671b-complete-hardware-requirements-optimal-deployment-setup-2e48
关于本地部署,大多数人使用的是蒸馏后的8B/32B/70B版本,本质是微调后的Llama或Qwen模