六级炼药师--完美解决meta 公司llama ProcessGroupNCCL is only supported with GPUs, no GPUs found?

本人总结不易,希望三连谢谢。

llama 大模型本地部署层层闯关,下载源码下载模型到环境配置,最终在如下调用出现了如标题类似的错误,该如何解决呢,如下干活直接开始介绍解决方案,核心点,CPU结合GPU配置。
# 句子补全
 torchrun --nproc_per_node 1 example_text_completion.py \     --ckpt_dir llama-2-7b/ \     --tokenizer_path tokenizer.model \     --max_seq_len 128 --max_batch_size 4
 # 对话生成
 torchrun --nproc_per_node 1 example_chat_completion.py \     --ckpt_dir llama-2-7b-chat/ \     --tokenizer_path tokenizer.model \     --max_seq_len 512 --max_batch_size 4

解决方法步骤:

🛬🕰️🌄🚀🗺️

我已经通过安装以下内容解决了安装GPU的问题:


 下载https://github.com/krychu/llama而不是单独使用 https://github.com/facebookresearch/llama
完整的安装过程:


① 从以下位置下载Llama的原始版本:
 https://github.com/facebookresearch/llama 
下载完 并将起里面的内容提取到当前你的llama-main 文件夹中,whatever the folder name
具体的命令: 

  • 13
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值