AutoDL如何下载huggingface模型

1、使用镜像：
只需要在下载模型前设置好镜像源即可，在导入transformer等与模型有关的库前运行如下语句:

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

例如

import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'

from transformers import LlamaTokenizer, LlamaForCausalLM
import os

# 设置模型保存路径
llama_model_path = "/root/autodl-tmp/model/luodian_llama-7b-hf"

# 如果路径不存在，创建路径
os.makedirs(llama_model_path, exist_ok=True)

# 下载并保存 tokenizer 和模型
tokenizer = LlamaTokenizer.from_pretrained("luodian/llama-7b-hf")
tokenizer.save_pretrained(llama_model_path)
model = LlamaForCausalLM.from_pretrained("luodian/llama-7b-hf")
model.save_pretrained(llama_model_path)

print("Model and tokenizer have been saved to:", llama_model_path)

2、使用 huggingface-cli 下载模型

(1) 安装依赖

pip install -U huggingface_hub hf_transfer

可使用清华源：

pip install -U huggingface_hub hf_transfer
 -i https://pypi.tuna.tsinghua.edu.cn/simple

(2) 命令
设置镜像站

export HF_ENDPOINT=https://hf-mirror.com

开启hf_transfer加速下载

export HF_HUB_ENABLE_HF_TRANSFER=1

下载命令

huggingface-cli download --resume-download 模型名称 --local-dir 本地目录

以"openai-community/gpt2-medium"为例：

huggingface-cli download --resume-download openai-community/gpt2-medium

如果不设置 --local-dir，模型会默认保存到.cache/huggingface/hub/models--openai-community--gpt2-medium/

3、

直接bash输入：

source /etc/network_turbo

取消的方法可使用取消代理：

unset http_proxy && unset https_proxy

 但是访问网站十分受限，配环境可以整一下