huggingface下载model

0x00 背景

• 服务器的普通用户，不具有root权限
• 服务器网络不稳定

0x01 解决办法

使用镜像【HF-Mirror】提供的工具hfd

方法三：使用 hfd

hfd 是本站开发的 huggingface 专用下载工具，基于成熟工具 git+aria2，可以做到稳定下载不断线。

1. 下载hfd

wget https://hf-mirror.com/hfd/hfd.sh
chmod a+x hfd.sh

2. 设置环境变量
Linux

export HF_ENDPOINT=https://hf-mirror.com

Windows Powershell

$env:HF_ENDPOINT = "https://hf-mirror.com"

3.1 下载模型

./hfd.sh gpt2 --tool aria2c -x 4

3.2 下载数据集

./hfd.sh wikitext --dataset --tool aria2c -x 4

因为我本机没有aria2c，并且没有root权限无法下载，所以采取的tools是wget【实际上可以通过下载aria2c的可执行文件然后软连接实现】 

./hfd.sh stabilityai/stable-diffusion-3-medium --hf_username huggingface用户名--hf_token hf_**** --tool wget

 

0x02 尝试过的方法

1.配置代理

clash之类没有root权限无法安装。v2ray则是暂时还没看懂config.json怎么写；而且代理的流量也是很金贵，还不太稳定。

2. huggingface-cli

hf镜像网站提供的方法，但是实际上有的时候还是会报错。实际上还是connect_timeout。但是有的时候会成功，并且速率还很快。

 3. winscap上传

下载到本地PC，然后winscap上传。但是由于不稳定，经常中断并且上传速率极慢。传了一晚上传了3个G，实在不行，遂放弃。

后来还考虑开一个内网穿透，但是因为没有支撑大流量的公网ip，遂放弃。