大模型
文章平均质量分 86
XMoyas
网络安全-AI菜鸟的升级之路
展开
-
大模型推理:vllm多机多卡分布式本地部署
ubuntu中采用docker和vllm进行多机多卡大模型本地部署原创 2024-07-09 17:36:59 · 3037 阅读 · 4 评论 -
deepspeed docker集群实现多机多卡训练----问题记录及解决方案资源汇总
docker集群中实现多机多卡分布式训练所遇到的问题及解决方法原创 2024-06-27 12:17:23 · 570 阅读 · 0 评论 -
vllm部署大模型出现NameError: name ‘vllm_ops‘ is not defined问题
vllm部署大模型出现NameError: name 'vllm_ops' is not defined问题的原因及解决办法原创 2024-06-04 15:07:22 · 1458 阅读 · 0 评论 -
Ubuntu Nvidia Docker单机多卡环境配置
ubuntu版本是22.04,现在最新版本是24.xx,截止当前,Nvidia的驱动最高还是22.04版本,不建议更新至最新版本。本部分是从0开始安装Nvidia docker的记录,若已安装Nvdia驱动,请直接跳至3。原创 2024-05-27 16:11:38 · 495 阅读 · 0 评论