huggingface数据获取

方法1：使用 huggingface-cli 下载模型

安装依赖

pip install -U huggingface_hub hf_transfer

配置

#设置镜像站
export HF_ENDPOINT=https://hf-mirror.com
#开启hf_transfer加速下载
export HF_HUB_ENABLE_HF_TRANSFER=1

下载命令

huggingface-cli download --resume-download 模型名称 --local-dir 本地目录

模型名称从huggingface上自行找：
https://huggingface.co/

注意事项

python版本>=3.8

方法2：python安装

from huggingface_hub import snapshot_download
snapshot_download(repo_id="bert-base-chinese")