huggingface下载模型文件(基础入门版)

本文介绍了如何通过HuggingFace网站下载开源模型,如BERT,包括手动搜索下载和使用pip安装huggingface_hub库自动化下载。两种方法详细展示了下载过程,适合AI新手入门。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

huggingface是一个网站,类似于github,上面拥有众多开源的模型、数据集等资料,人工智能爱好者可以很方便的上面获取需要的数据,也可以上传训练好的模型,制作的数据集等。本文只介绍下载模型的方法,适合新手入门,更多内容详情参考Download files from the Hub

方法一、

进入Hugging Face – The AI community building the future.

在搜索框中输入要要下载的模型,以bert为例,输入bert

显示[Models],意思是模型,下面是bert相关的模型,选择[bert-base-uncased],进入页面

点击红框中的[Files and versions]跳转到下载页面

手动点击图中红框标记下载图标,一个一个下载,保存到一个文件夹。

方法二、

同方法一类似,进入huggingface,获取模型仓库id [bert-base-uncased],红框中标注。

pip install huggingface_hub

from huggingface_hub import snapshot_download

snapshot_download(repo_id="bert-base-uncased")

下载bert-base-uncased模型

pip install huggingface_hub

from huggingface_hub import snapshot_download

# 创建保存模型目录
mkdir /content/models/model_ckpt

# save_dir是模型保存到本地的目录
# repo_id是模型在huggingface中的id
save_dir="/content/models/model_ckpt"
repo_id="bert-base-uncased"

snapshot_download(repo_id=repo_id, local_dir=save_dir, local_dir_use_symlinks=False)

新建目录/content/models/model_ckpt,批量下载全部模型文件到model_ckpt

参考:

Download files from the Hub

批量快速下载huggingface的模型/数据文件的方法 - 知乎

上传、下载huggingface仓库文件(模型、数据等)_Reza.的博客-CSDN博客

### 如何从 Hugging Face 下载并加载模型 #### 安装必要的依赖项 为了能够顺利下载和加载来自 Hugging Face 的模型,需要安装 `transformers` 和 `datasets` 库。可以通过以下命令完成安装: ```bash pip install transformers datasets ``` 如果希望使用 CLI 工具来管理模型,则还需要额外安装 `huggingface_hub`。 ```bash pip install huggingface-hub ``` --- #### 使用 CLI 方式下载模型 通过命令行工具可以直接下载指定的预训练模型及其相关文件。基本语法如下所示[^1]: ```bash huggingface-cli download amphion/MaskGCT ``` 此方法会自动获取目标存储库中的所有必要组件,包括但不限于配置文件 (`config.json`)、权重文件 (`pytorch_model.bin` 或 `tf_model.h5`) 以及分词器定义文件(如 `tokenizer.json`, `vocab.txt`)。然而,在某些情况下可能会遇到连接失败等问题[^2];此时可以选择手动访问对应页面逐一保存所需资源至本地目录。 --- #### 利用 Python API 实现自动化流程 除了上述基于终端的操作外,还可以借助官方提供的 SDK 来简化整个过程。下面展示了一个完整的例子说明怎样先取得远程仓库里的资料再将其应用到实际程序当中去: ```python from transformers import AutoTokenizer, AutoModelForCausalLM # 加载 Tokenizer model_name_or_path = "amphion/MaskGCT" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) # 如果存在 GPU 支持则利用 CUDA 进行加速计算 device = 'cuda' if torch.cuda.is_available() else 'cpu' # 初始化 Model 并移动到相应设备上运行 model = AutoModelForCausalLM.from_pretrained(model_name_or_path).to(device) ``` 这里我们采用了 `AutoTokenizer` 类型实例化对象用于处理输入序列编码转换工作,而具体实现细节取决于所选架构种类。同样地,对于生成任务来说推荐选用因果语言建模(`AutoModelForCausalLM`)作为基础框架结构[^3]。 注意:当调用 `.from_pretrained()` 方法时,默认会在后台尝试拉取最新可用数据集副本存放到缓存路径下以便后续重复利用减少网络请求次数开销。 --- #### 处理常见问题 在执行过程中可能出现一些异常状况比如无法建立链接或者磁盘空间不足等等情况发生。针对前者建议检查当前环境代理设置是否正确无误;至于后者则需清理多余占用区域后再试一次操作即可解决大部分情形下的难题。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值