- 博客(2)
- 收藏
- 关注
RSS订阅原创 部署LLama3.1 405B模型
介于405B模型参数的大小，以及找不到相应的部署过程，因此撰写一篇文章来记录部署的流程以及遇到的问题。设备条件：k8s集群环境中两个节点，每个节点具有8张80G*A800显卡注意：将两个节点分为，主节点和工作节点，可任意指定，但需要牢记两者分别为哪个机器。
2024-09-10 15:24:47
909
原创 vllm常用参数总结
具体参数：OpenAI 兼容服务器 — vLLM引擎参数 — vLLM常用参数：2. 终端分析2.1 查看终端内容2.2 /metircs接口请求： curl http://localhost:8000/metircs输出结果较长，主要分析vllm:采用的框架为vllm，部署的Qwen72B是选择环境0.4.3部署的Llama70B选择的环境是0.5.3vllm低版本无法适配Llama模型，在vllm0.5.3修复了该问题Issue：[Model] Meta Llama 3.1
2024-09-05 14:51:13
1389
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人