huggingface_hub 设置国内镜像

要设置HuggingFace Hub的国内镜像，你可以按照以下步骤进行操作，以确保从国内镜像站点下载Hugging Face模型和数据集。

1. 安装依赖

首先，确保你已经安装了huggingface_hub库。如果没有，可以通过pip进行安装：

bash复制代码

pip install -U huggingface_hub

2. 设置环境变量

永久设置（推荐）

对于Linux或macOS系统，你可以在.bashrc、.bash_profile、.zshrc等shell配置文件中添加以下行来永久设置环境变量：

bash复制代码

export HF_ENDPOINT=https://hf-mirror.com

然后，你需要使这些更改生效：

bash复制代码

source ~/.bashrc # 或者 source ~/.bash_profile, source ~/.zshrc 等

对于Windows系统，你可以通过“系统属性”中的“环境变量”来设置HF_ENDPOINT环境变量。

临时设置

如果你只想在当前终端会话中设置环境变量，可以直接在命令行中输入：

对于Linux或macOS：

bash复制代码

export HF_ENDPOINT=https://hf-mirror.com

对于Windows（PowerShell）：

powershell复制代码

$env:HF_ENDPOINT = "https://hf-mirror.com"

3. 使用Hugging Face CLI工具下载模型和数据集

一旦设置了环境变量，你就可以使用Hugging Face CLI工具来下载模型和数据集了。例如：

bash复制代码

huggingface-cli download --resume-download --local-dir gpt2 gpt2

这条命令将会从国内镜像站点下载GPT-2模型，并将其保存在本地的gpt2目录中。

4. （可选）设置访问令牌（Token）

对于某些受限访问的模型，你可能需要提供Hugging Face账户的访问令牌（Token）才能下载。你可以在Hugging Face官网的个人设置中找到这个Token，并将其添加到你的Python脚本或环境变量中。但是，请注意，这通常不是必需的，除非你正在尝试下载受限的模型。

5. 注意事项

• 确保你的网络连接正常，以便从国内镜像站点成功下载内容。
• 如果你在使用虚拟环境，确保在相应的虚拟环境中安装huggingface_hub库并设置环境变量。
• 如果你在脚本中设置环境变量，请确保在导入任何Hugging Face库之前设置它。
• 如果你遇到任何问题或错误消息，请查阅Hugging Face官方文档或社区论坛以获取更多帮助。