【tips】huggingface下载模型权重的方法

方法1：直接在Huggingface上下载，但是要fanqiang，可以git clone或者在代码中：

from huggingface_hub import snapshot_download
# snapshot_download(repo_id="decapoda-research/llama-7b-hf")
snapshot_download(repo_id="THUDM/chatglm3-6b")

方法2：使用modelscope：

pip install modelscope

# 从modelscope上下载模型
from modelscope.hub.snapshot_download import snapshot_download

model_dir = snapshot_download('baichuan-inc/baichuan-7B', cache_dir='./model', revision='master')
如果你网速很好，下载就很快，如果是kb/s，那么大文件下载会失败。

注意如果下载数据可以使用（但这种方法可能会压缩数据）：

from modelscope.msdatasets import MsDataset
ds = MsDataset.load(
    dataset_name,
    split='train',
    cache_dir=save_model_path
)
print(ds)

参考：如果想使用modelscope的命令行下载，可参考

方法3：使用hf的镜像网站，https://hf-mirror.com/baichuan-inc

代码还是使用的huggingface那坨，但是在terminal运行代码时加上HF_ENDPOINT=https://hf-mirror.com：

HF_ENDPOINT=https://hf-mirror.com python  download_data.py

注：huggingface的镜像网站下载llama2系列模型如何加认证的信息啊？
加 huggingface access token 就可以下载，wget --header=“Authorization: Bearer <hf_token>” url ，如果是git clone，则提示输密码时输入access token。

方法4：如果是下载数据，也可以使用hf的镜像网站（注意这里需要添加后面的参数--repo-type dataset）：

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download --resume-download THUDM/CogVLM-SFT-311K --local-dir cogvlm_sft_311k --repo-type dataset

Reference

[1] 不使用梯子下载huggingface模型——使用镜像下载
[2] 如何使用Huggingface镜像