最近自己本地部署LLM,可谓一波九万折……
先来第一折:
huggingface 模型下载到本地,已经正确填写路径了,在终端输入 "cd {path}" 也有正常显示!BUT,他就是报错Error no file named pytorch_model.bin, tf_model.h5, model.ckpt.index or {balabalabala....}
tokenizer = AutoTokenizer.from_pretrained(
model_path, revision="main",
cache_dir=model_path, trust_remote_code=True)
model = AutoModel.from_pretrained(
model_path, revision="main", device='cuda',
cache_dir=model_path, trust_remote_code=True)
其中model_path = "/home/{...}/chatGLM3models/"
问题解决:
回头打开你需要的huggingface.io页面,比如huggingface.io/THUDM/chatglm3-6b
或者某个中转资源比如AIxx资源站的页面
检查是否每一个文件都下载完了,比如:我就偏偏漏掉了这个!!!!!!
最后,还是建议用工具或代码下载。否则,被自己蠢哭。以上!
=======================
补充python代码下载方式:
!pip install huggingface_hub
from huggingface_hub import snapshot_download
snapshot_download(
repo_id="Qwen/Qwen-14B-Chat-Int4",
local_dir="Qwen-14B-Chat-Int4",
proxies={"https": "http://localhost:7890"},
max_workers=8
)
具体看我新发的一篇文章:小白只需两步,优雅下载HuggingFace模型