deepseek 本地部署，如何支持工具调用

这里需要考虑显卡是否和模型匹配，支不支持推理

先把模版拉取到本地：git clone https://github.com/sgl-project/sglang.git

我的位置是 /data/home/sglang

注意模版位于sglang下的examples/chat_template中

根据对应的模版部署模型，比如

docker run -d \
  --name *** \
  --gpus all \
  --...
  --v .../sglang_main:mnt/sglang_main \ // 把sglang的文件挂载到容器的对应位置
python3 -m sglang.launch_server\
 --model deepseek-ai/DeepSeek-V3-0324\
 --tp 8\
 --port 30000\
 --host 0.0.0.0\
 --mem-fraction-static 0.9\
 --tool-call-parser deepseekv3\
 --chat-template mnt/sglang_main/examples/chat_template/tool_chat_template_deepseekv3.jinja

注意这里要将模版的路径挂载到docker容器中，由于我挂在的时候多行命令会解析问题，所以最后要写成单行命令

完整命令参考：sglang单节点本地部署大模型_docker pull sglang-CSDN博客

部署后测试：测试本地部署的大模型-CSDN博客

ref

 ​​​​​https://github.com/sgl-project/sglang/pull/5908

https://github.com/sgl-project/sglang/blob/main/examples/chat_template/tool_chat_template_deepseekv3.jinja