使用Huggingface镜像站hf-mirror.com下载资源

前言

在使用Huggingface的过程中，有时我们可能会遇到无法访问官方网站huggingface.co的情况，这可能是由于网络监管或者网络连接问题所致。然而，幸运的是，我们可以通过hf-mirror.com这个Huggingface镜像站来解决这个问题。本篇博客将详细介绍hf-mirror.com网站的内容和使用方法。

hf-mirror.com是什么？

hf-mirror.com是Huggingface的镜像网站，它提供了一个备用的域名来访问Huggingface的资源和功能。它的作用类似于一个代理服务器，可以帮助我们绕过无法访问huggingface.co的限制，正常地获取所需的模型和数据集。

hf-mirror.com的特点和优势

• 支持断点续传：使用hf-mirror.com下载模型时，如果网络中断，我们可以通过断点续传功能避免文件损坏，从而节省时间和流量。
• 多文件并行下载：hf-mirror.com默认支持多文件并行下载，这意味着我们可以更快地下载所需的模型和数据集。
• 支持Gated Model下载：对于需要登录的模型（Gated Model），我们可以通过添加–token hf_***参数来进行下载，其中hf_***是访问令牌，可以在huggingface官网获取。

使用hf-mirror.com下载模型的步骤

• 安装依赖：首先，我们需要安装huggingface-cli命令行工具，可以使用以下命令进行安装：pip install -U huggingface_hub。
• 设置镜像endpoint：在下载模型之前，我们需要设置镜像endpoint，可以使用以下命令进行设置：export HF_ENDPOINT=https://hf-mirror.com。
• 下载模型：使用huggingface-cli的download命令可以下载模型，例如：huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m。

其他使用方式

1. 下载需要登录的模型以及使用脚本下载等方法详见参考链接[2]。
2. 根目录.cache空间不足时使用--cache-dir传参更改下载缓存路径，例如：

 huggingface-cli download --resume-download --local-dir-use-symlinks False stabilityai/stable-diffusion-xl-base-1.0 --local-dir stabilityai --cache-dir stabilityai.cache

3. 使用Python脚本下载时，在import huggingface库相关语句之前执行环境设置。

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
from huggingface_hub import hf_hub_download

4. 更多功能支持可查阅 huggingface-cli download --help

总结

hf-mirror.com是Huggingface的镜像网站，为用户提供了一个备用的访问通道，解决了无法访问huggingface.co的问题。通过hf-mirror.com，我们可以正常地下载所需的模型和数据集，享受Huggingface提供的强大功能。

版权说明

本文为原创文章，部分内容基于GPT工具撰写，独家发布在blog.csdn.net/TracelessLe。未经个人允许不得转载。如需帮助请email至tracelessle@163.com或扫描个人介绍栏二维码咨询。

参考资料

[1] 如何看待huggingface.co已无法访问？ - 知乎
[2] hf-mirror.com - Huggingface 镜像站
[3] 第十五篇-推荐-Huggingface-镜像-2023-10_huggingface镜像-CSDN博客
[4] huggingface stabilityai/stable-diffusion-xl-base-1.0
[5] 如何快速下载huggingface大模型