Huggingface详解hub入门和使用

最新推荐文章于 2025-04-08 11:01:10 发布

E寻数据

最新推荐文章于 2025-04-08 11:01:10 发布

阅读量1.9k

点赞数 19

分类专栏： huggingface pytorch 深度学习文章标签：人工智能机器学习 python huggingface

本文链接：https://blog.csdn.net/qq_42452134/article/details/145776176

版权

深度学习同时被 3 个专栏收录

80 篇文章

订阅专栏

pytorch

54 篇文章

订阅专栏

huggingface

14 篇文章

订阅专栏

2. 模型上传、密钥认证创建仓库（略），大概流程与github相仿

huggingface_hub简介：

Hub client library：huggingface_hub库是一个可以与Hugging Face Hub交互的工具，帮助用户访问预训练模型、数据集、机器学习应用等。用户可以使用它上传、下载文件、创建和管理模型仓库，还可以与社区分享自己的项目。
Quick Start Guide：通过快速入门指南，用户可以了解如何使用这个库来下载文件、创建仓库和上传文件到Hub，帮助用户快速上手。
How-to Guides：提供实用的操作指南，帮助用户解决实际问题，教你如何用huggingface_hub库完成具体任务。
Reference：提供huggingface_hub库的详细技术文档，涵盖了库中各类类和方法的详细描述，适合需要深入了解的开发者。
Conceptual Guides：从更高层次的角度解释如何理解huggingface_hub的理念，帮助用户更好地构建对库的整体理解。
Contribute：鼓励用户为huggingface_hub库贡献代码或文档。除了修复bug或增加功能外，还可以帮助提升文档质量，参与问题讨论或请求新功能。贡献者需要遵守代码行为规范，确保社区的包容性和欢迎氛围。

huggingface_hub使用：

环境准备

huggingface_hub支持Python 3.8及以上版本，建议在虚拟环境中安装，以避免依赖冲突。

1. 使用pip安装

创建虚拟环境：在项目目录中使用 python -m venv .env 创建虚拟环境。
激活虚拟环境：
- Linux/macOS：source .env/bin/activate
- Windows：.env/Scripts/activate
安装huggingface_hub：在虚拟环境中运行 pip install --upgrade huggingface_hub 完成安装。

2. 安装可选依赖

有些依赖项不是核心功能所必需，但安装后可以解锁一些功能：

TensorFlow特性：pip install 'huggingface_hub[tensorflow]'
CLI和PyTorch特性：pip install 'huggingface_hub[cli,torch]'
其他包括 fastai, dev 等依赖，分别对应不同的功能需求。

注意，这里安装的时候用法实际命令是：pip install huggingface_hub[torch]，需要根据你自己的环境去选择安装哪种。

3. 从源代码安装

从GitHub安装最新版本：可以通过 pip install git+https://github.com/huggingface/huggingface_hub 安装最新的开发版。
安装特定分支：如果需要测试新功能或修复，可以通过指定分支安装：pip install git+https://github.com/huggingface/huggingface_hub@my-feature-branch

4. 可编辑安装

克隆并编辑安装：对于贡献者或开发者，可以通过克隆仓库并使用 pip install -e . 进行可编辑安装，方便修改和测试代码。

5. 使用conda安装

也可以通过 conda install -c conda-forge huggingface_hub 使用conda来安装。

6. 检查安装

安装完成后，可以运行命令 python -c "from huggingface_hub import model_info; print(model_info('gpt2'))" 来检查安装是否成功。若成功，会显示关于gpt2模型的信息。

7. Windows系统的限制

符号链接问题：Windows需要开启开发者模式或以管理员身份运行脚本才能启用符号链接。如果没有启用，缓存系统会以非优化的方式工作。
文件路径限制：Windows对特殊字符有严格限制，可能导致无法下载某些带有特殊字符的文件。如果遇到这种问题，建议联系仓库维护者或Hugging Face团队解决。

测试使用：

1. 模型下载

from huggingface_hub import hf_hub_download
import os

# 指定模型repo和文件名
repo_id = "google/pegasus-xsum"
config_filename = "config.json"
model_filename = "pytorch_model.bin"  # 假设你要下载模型文件

# 设置当前子文件夹作为存储目录
folder_name = "downloaded_model"
os.makedirs(folder_name, exist_ok=True)

# 下载配置文件到子文件夹
config_file_path = hf_hub_download(repo_id=repo_id, filename=config_filename, cache_dir=folder_name)
print(f"Config file downloaded to: {config_file_path}")

# 下载模型文件到子文件夹
model_file_path = hf_hub_download(repo_id=repo_id, filename=model_filename, cache_dir=folder_name)
print(f"Model file downloaded to: {model_file_path}")

看到这个结果说明环境啥的都没问题，实际使用时候国内的小伙伴得用点狠活上网。