两步解决Hugging Face下载模型速度慢/连接超时/无法下载问题


博主使用的配置是
x86_64 Linux服务器

第一步设置代理镜像:

export HF_ENDPOINT=https://hf-mirror.com

第二步(使用代码时,删除引号):


--token参数表示下载的模型是否需要登录验证(部分模型需要token)

huggingface-cli download --token "获取的hf_*******token" --resume-download --local-dir-use-symlinks False "HuggingFace上对应的模型名称" --local-dir "下载到本地的地址"


如何获取token

切记设置的权限需要Write

(二)下载方式2

如果需要对模型中的单个文件或者文件夹中的文件下载可使用以下命令

第一步:进入python

第二步:

from huggingface_hub import login
login()

第三步:

hf_hub_download(repo_id="meta-llama/Meta-Llama-3-8B-Instruct ", filename="original/*", local_dir="/data")

(三)下载方式3

使用黑科技

第一步:

pip install -U hf-transfer

第二步:设置环境变量
Linux

export HF_HUB_ENABLE_HF_TRANSFER=1

Windows Powershell

$env:HF_HUB_ENABLE_HF_TRANSFER = 1

之后使用代码:

huggingface-cli download --token "获取的hf_*******token" --resume-download --local-dir-use-symlinks False "HuggingFace上对应的模型名称" --local-dir "下载到本地的地址"

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值