1. 换源下载Huggingface模型:
本地下载后上传(开科技后对于大型文件下载很慢),或换源如下,加在文件第一行:
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
2. 本地加载Huggingface模型会出现权限问题:
是由于huggingface会默认去/home/ubuntu的/.cache文件夹下读取已下载的模型权重,而/.cache无读写权限。
解决:[Errno 13] Permission denied: '/.cache' · Issue #13472 · huggingface/transformers · GitHub
因此,需要修改Huggingface的环境变量HF_HOME,使用/.cache以外的其他目录作为缓存路径。
export HF_HOME="/home/ubuntu/model_cache"