目录
2. 模型上传、密钥认证创建仓库(略),大概流程与github相仿
huggingface_hub简介:
-
Hub client library:
huggingface_hub
库是一个可以与Hugging Face Hub交互的工具,帮助用户访问预训练模型、数据集、机器学习应用等。用户可以使用它上传、下载文件、创建和管理模型仓库,还可以与社区分享自己的项目。 -
Quick Start Guide:通过快速入门指南,用户可以了解如何使用这个库来下载文件、创建仓库和上传文件到Hub,帮助用户快速上手。
-
How-to Guides:提供实用的操作指南,帮助用户解决实际问题,教你如何用
huggingface_hub
库完成具体任务。 -
Reference:提供
huggingface_hub
库的详细技术文档,涵盖了库中各类类和方法的详细描述,适合需要深入了解的开发者。 -
Conceptual Guides:从更高层次的角度解释如何理解
huggingface_hub
的理念,帮助用户更好地构建对库的整体理解。 -
Contribute:鼓励用户为
huggingface_hub
库贡献代码或文档。除了修复bug或增加功能外,还可以帮助提升文档质量,参与问题讨论或请求新功能。贡献者需要遵守代码行为规范,确保社区的包容性和欢迎氛围。
huggingface_hub使用:
环境准备
huggingface_hub
支持Python 3.8及以上版本,建议在虚拟环境中安装,以避免依赖冲突。
1. 使用pip安装
- 创建虚拟环境:在项目目录中使用
python -m venv .env
创建虚拟环境。 - 激活虚拟环境:
- Linux/macOS:
source .env/bin/activate
- Windows:
.env/Scripts/activate
- Linux/macOS:
- 安装huggingface_hub:在虚拟环境中运行
pip install --upgrade huggingface_hub
完成安装。
2. 安装可选依赖
有些依赖项不是核心功能所必需,但安装后可以解锁一些功能:
- TensorFlow特性:
pip install 'huggingface_hub[tensorflow]'
- CLI和PyTorch特性:
pip install 'huggingface_hub[cli,torch]'
- 其他包括
fastai
,dev
等依赖,分别对应不同的功能需求。
注意,这里安装的时候用法实际命令是:pip install huggingface_hub[torch],需要根据你自己的环境去选择安装哪种。
3. 从源代码安装
- 从GitHub安装最新版本:可以通过
pip install git+https://github.com/huggingface/huggingface_hub
安装最新的开发版。 - 安装特定分支:如果需要测试新功能或修复,可以通过指定分支安装:
pip install git+https://github.com/huggingface/huggingface_hub@my-feature-branch
4. 可编辑安装
- 克隆并编辑安装:对于贡献者或开发者,可以通过克隆仓库并使用
pip install -e .
进行可编辑安装,方便修改和测试代码。
5. 使用conda安装
- 也可以通过
conda install -c conda-forge huggingface_hub
使用conda来安装。
6. 检查安装
- 安装完成后,可以运行命令
python -c "from huggingface_hub import model_info; print(model_info('gpt2'))"
来检查安装是否成功。若成功,会显示关于gpt2
模型的信息。
7. Windows系统的限制
- 符号链接问题:Windows需要开启开发者模式或以管理员身份运行脚本才能启用符号链接。如果没有启用,缓存系统会以非优化的方式工作。
- 文件路径限制:Windows对特殊字符有严格限制,可能导致无法下载某些带有特殊字符的文件。如果遇到这种问题,建议联系仓库维护者或Hugging Face团队解决。
测试使用:
1. 模型下载
from huggingface_hub import hf_hub_download
import os
# 指定模型repo和文件名
repo_id = "google/pegasus-xsum"
config_filename = "config.json"
model_filename = "pytorch_model.bin" # 假设你要下载模型文件
# 设置当前子文件夹作为存储目录
folder_name = "downloaded_model"
os.makedirs(folder_name, exist_ok=True)
# 下载配置文件到子文件夹
config_file_path = hf_hub_download(repo_id=repo_id, filename=config_filename, cache_dir=folder_name)
print(f"Config file downloaded to: {config_file_path}")
# 下载模型文件到子文件夹
model_file_path = hf_hub_download(repo_id=repo_id, filename=model_filename, cache_dir=folder_name)
print(f"Model file downloaded to: {model_file_path}")
看到这个结果说明环境啥的都没问题,实际使用时候国内的小伙伴得用点狠活上网。
2. 模型上传、密钥认证创建仓库(略),大概流程与github相仿
官方文档在这里: