Huggingface详解hub入门和使用

目录

huggingface_hub简介:

huggingface_hub使用:

环境准备

1. 使用pip安装

2. 安装可选依赖

3. 从源代码安装

4. 可编辑安装

5. 使用conda安装

6. 检查安装

7. Windows系统的限制

测试使用:

1. 模型下载

 2. 模型上传、密钥认证创建仓库(略),大概流程与github相仿


huggingface_hub简介:

  • Hub client libraryhuggingface_hub库是一个可以与Hugging Face Hub交互的工具,帮助用户访问预训练模型、数据集、机器学习应用等。用户可以使用它上传、下载文件、创建和管理模型仓库,还可以与社区分享自己的项目。

  • Quick Start Guide:通过快速入门指南,用户可以了解如何使用这个库来下载文件、创建仓库和上传文件到Hub,帮助用户快速上手。

  • How-to Guides:提供实用的操作指南,帮助用户解决实际问题,教你如何用huggingface_hub库完成具体任务。

  • Reference:提供huggingface_hub库的详细技术文档,涵盖了库中各类类和方法的详细描述,适合需要深入了解的开发者。

  • Conceptual Guides:从更高层次的角度解释如何理解huggingface_hub的理念,帮助用户更好地构建对库的整体理解。

  • Contribute:鼓励用户为huggingface_hub库贡献代码或文档。除了修复bug或增加功能外,还可以帮助提升文档质量,参与问题讨论或请求新功能。贡献者需要遵守代码行为规范,确保社区的包容性和欢迎氛围。

huggingface_hub使用:

环境准备

  • huggingface_hub支持Python 3.8及以上版本,建议在虚拟环境中安装,以避免依赖冲突。

1. 使用pip安装

  • 创建虚拟环境:在项目目录中使用 python -m venv .env 创建虚拟环境。
  • 激活虚拟环境
    • Linux/macOS:source .env/bin/activate
    • Windows:.env/Scripts/activate
  • 安装huggingface_hub:在虚拟环境中运行 pip install --upgrade huggingface_hub 完成安装。

2. 安装可选依赖

有些依赖项不是核心功能所必需,但安装后可以解锁一些功能:

  • TensorFlow特性pip install 'huggingface_hub[tensorflow]'
  • CLI和PyTorch特性pip install 'huggingface_hub[cli,torch]'
  • 其他包括 fastai, dev 等依赖,分别对应不同的功能需求。

        注意,这里安装的时候用法实际命令是:pip install huggingface_hub[torch],需要根据你自己的环境去选择安装哪种。

3. 从源代码安装

  • 从GitHub安装最新版本:可以通过 pip install git+https://github.com/huggingface/huggingface_hub 安装最新的开发版。
  • 安装特定分支:如果需要测试新功能或修复,可以通过指定分支安装:pip install git+https://github.com/huggingface/huggingface_hub@my-feature-branch

4. 可编辑安装

  • 克隆并编辑安装:对于贡献者或开发者,可以通过克隆仓库并使用 pip install -e . 进行可编辑安装,方便修改和测试代码。

5. 使用conda安装

  • 也可以通过 conda install -c conda-forge huggingface_hub 使用conda来安装。

6. 检查安装

  • 安装完成后,可以运行命令 python -c "from huggingface_hub import model_info; print(model_info('gpt2'))" 来检查安装是否成功。若成功,会显示关于gpt2模型的信息。

7. Windows系统的限制

  • 符号链接问题:Windows需要开启开发者模式或以管理员身份运行脚本才能启用符号链接。如果没有启用,缓存系统会以非优化的方式工作。
  • 文件路径限制:Windows对特殊字符有严格限制,可能导致无法下载某些带有特殊字符的文件。如果遇到这种问题,建议联系仓库维护者或Hugging Face团队解决。

测试使用:

1. 模型下载

from huggingface_hub import hf_hub_download
import os

# 指定模型repo和文件名
repo_id = "google/pegasus-xsum"
config_filename = "config.json"
model_filename = "pytorch_model.bin"  # 假设你要下载模型文件

# 设置当前子文件夹作为存储目录
folder_name = "downloaded_model"
os.makedirs(folder_name, exist_ok=True)

# 下载配置文件到子文件夹
config_file_path = hf_hub_download(repo_id=repo_id, filename=config_filename, cache_dir=folder_name)
print(f"Config file downloaded to: {config_file_path}")

# 下载模型文件到子文件夹
model_file_path = hf_hub_download(repo_id=repo_id, filename=model_filename, cache_dir=folder_name)
print(f"Model file downloaded to: {model_file_path}")

看到这个结果说明环境啥的都没问题,实际使用时候国内的小伙伴得用点狠活上网。

 2. 模型上传、密钥认证创建仓库(略),大概流程与github相仿

官方文档在这里:

https://huggingface.co/docs/huggingface_hub/v0.29.1/en/package_reference/hf_api#huggingface_hub.HfApi.create_repo

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

E寻数据

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值