如何从hugging face上下载模型到本地使用

1.直接自动下载

但我的电脑要么卡住进度0,要么就报错网络连接不上

OSError: There was a specific connection error when trying to load gpt2:
Connection error, and we cannot find the requested files in the disk cache. Please try again or make sure your Internet connection is on.

2 用终端下载

自动下载

使用镜像

安装依赖

pip install -U huggingface_hub

设置环境

# Linux
export HF_ENDPOINT=https://hf-mirror.com
# Windows Powershell
$env:HF_ENDPOINT = "https://hf-mirror.com"
下载模型到本地

huggingface-cli download --resume-download gpt2 --local-dir gpt2    

大概会这样

有几个可能网络断断续续没下下来,自己核对一下

当然从镜像里面手动一个一个下载也是一样的,可能会慢(已尝试,非常慢)

因为是手动下载,所以要么把程序的调用路径改到保存路径下,要么把下载的内容储存到他正常自动下载的目录下,在我这里是

这样跟直接python下载下来一样的直接调用,不需要改路径了。

### 如何从Hugging Face下载模型并保存至本地文件系统 为了实现这一目标,需遵循一系列操作流程来确保模型能够被顺利下载并且存储于指定位置。 #### 访问Hugging Face网站获取所需资源 前往[huggingface.co](https://huggingface.co/)定位到具体想要使用的预训练模型页面,在此案例中是以`bert-base-chinese`为例[^1]。通过导航栏中的分类或是直接利用搜索框输入名称快速查找目标模型。 #### 获取模型文件 当进入特定模型主页之后,可以看到页面上有一个名为“Files and versions”的部分。这里列出了构成该模型的所有必要组件及其不同版本的信息。对于希望离线部署的情况来说,应当仔细核对此处列出的各项文件列表,确认无误后再执行下一步骤的操作。 #### 文件下载与放置路径设置 按照上述说明选定好要下载的内容后,将其逐一下载下来,并创建相应的文件夹用于存放这些数据集,例如可以命名为`bert-base-chinese`。建议将整个项目结构建立在一个容易记忆的位置之下,像用户的主目录内即`Home/username/bert-base-chinese`这样的形式便于后续管理和维护工作开展。 #### 编写Python脚本来加载本地模型而不依赖网络连接 为了避免每次运行程序时重新联网拉取相同的权重参数造成不必要的延迟以及流量消耗等问题的发生,可以在自己的代码逻辑里面加入如下所示片段: ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('/path/to/local/model/directory') model = BertModel.from_pretrained('/path/to/local/model/directory') ``` 以上就是关于怎样把来自Hugging Face平台上的BERT中文版基础架构型态迁移至个人计算机硬盘驱动器上面的方法介绍。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值