两步解决Hugging Face下载模型速度慢/连接超时/无法下载问题


博主使用的配置是
x86_64 Linux服务器

第一步设置代理镜像:

export HF_ENDPOINT=https://hf-mirror.com

第二步(使用代码时,删除引号):


--token参数表示下载的模型是否需要登录验证(部分模型需要token)

huggingface-cli download --token "获取的hf_*******token" --resume-download --local-dir-use-symlinks False "HuggingFace上对应的模型名称" --local-dir "下载到本地的地址"


如何获取token

切记设置的权限需要Write

(二)下载方式2

如果需要对模型中的单个文件或者文件夹中的文件下载可使用以下命令

第一步:进入python

第二步:

from huggingface_hub import login
login()

第三步:

hf_hub_download(repo_id="meta-llama/Meta-Llama-3-8B-Instruct ", filename="original/*", local_dir="/data")

(三)下载方式3

使用黑科技

第一步:

pip install -U hf-transfer

第二步:设置环境变量
Linux

export HF_HUB_ENABLE_HF_TRANSFER=1

Windows Powershell

$env:HF_HUB_ENABLE_HF_TRANSFER = 1

之后使用代码:

huggingface-cli download --token "获取的hf_*******token" --resume-download --local-dir-use-symlinks False "HuggingFace上对应的模型名称" --local-dir "下载到本地的地址"

### 如何从Hugging Face下载模型保存至本地文件系统 #### 访问Hugging Face模型库 为了获取所需的模型,需访问[Hugging Face模型页面](https://huggingface.co/models)[^1]。在此页面中,通过搜索栏定位特定模型,例如`bert-base-uncased`。 #### 下载所需文件 确认目标模型后,点击进入其详情页,在此页面内可发现多个版本以及对应的文件列表[^2]。对于大多数Transformer类模型而言,主要关注三个核心组件: - `pytorch_model.bin`: PyTorch格式的权重文件。 - `config.json`: 配置文件,定义了模型架构细节。 - `vocab.txt`(或类似的词汇表): 用于分词器初始化。 #### 存储路径设置 下载完成后,建议创建专门的目录来存储这些资源,以便后续加载时能够顺利识别。默认情况下,推荐放置于用户主目录下的`.cache/huggingface/transformers`子文件夹中;当然也可以自定义其他位置,如`Home/username/bert-base-chinese`作为存放点。 #### 加载本地模型实例化 当所有必要文件均已妥善安置之后,可以通过指定绝对路径的方式让Python脚本读取并构建相应的NLP工具链对象。下面给出一段基于BERT中文版(`bert-base-chinese`)的例子: ```python from transformers import BertTokenizer, BertForMaskedLM tokenizer = BertTokenizer.from_pretrained('/path/to/local/model/directory') model = BertForMaskedLM.from_pretrained('/path/to/local/model/directory') text = "今天天气真好" inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) print(outputs.logits.shape) ``` 上述代码片段展示了如何利用本地磁盘上的预训练成果快速搭建起一套完整的自然语言处理流水线[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值