原文:
不会修改HuggingFace模型下载默认缓存路径?一篇教会你!_使用huggingface下载bert保存在哪里怎么看-CSDN博客
How to change huggingface transformers default cache directory - Stack Overflow
linux系统解决huggingface下载缓存不够的问题_清理huggingface缓存-CSDN博客
本人两种方法均尝试。有效。推荐第二种。
方式一:cache_dir 参数
可以通过from_pretrained
函数中的 cache_dir
参数来指定。
缺点,每次都需要手动指定,比较麻烦。
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
方式二:设置环境变量
vim ~/.bashrc
在末尾行添加:
export HF_HOME="/path/to/you/dir" # 替换为你想更改的目标路径
然后保存退出。
输入如下指令让它立即生效:
source ~/.bashrc
可通过如下指令查看是否设置成功,
env | grep HF_HOME
如果返回设置的路径,则成功。如图: