本文介绍了如何在使用HuggingFace的transformers库或modelscope库部署大型语言模型（LLM）时，针对多GPU环境进行模型分片和调整。作者提到通过`device_map=auto`自动利用多GPU，以及如何指定特定GPU（如`cuda:1`）进行单一GPU的使用，强调查阅官方文档是解决问题的关键。
用transformers库或者modelscop库部署LLM进行推理时，可能会遇到多机的情况。
如果服务器上有多张GPU，代码一般是：
device = "cuda"
model = AutoModelForCausalLM.from_pretrained(
"qwen/Qwen1.5-72B-Chat",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen1.5-72B-Chat")这里的device_map="auto"默认了模型会自动在多GPU上分片加载模型。huggingface仓库的官方代码一般也是这样的。
但是如果只想用多张GPU中的一张，只需要代码改成：
device = "cuda:1"
model = AutoModelForCausalLM.from_pretrained(
"qwen/Qwen1.5-72B-Chat"
).to(device)
tokenizer = AutoTokenizer.from_pretrained("qwen/Qwen1.5-72B-Chat")发现相关问题都可以直接看huggingface库的文档，写的都很明白
当然modelscope的官方文档就算了吧，写的不清不楚。。
扫一扫
2194
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
