在终端中配置hugging face的默认下载路径一般通过在.bashrc中加入下面的代码
export HUGGINGFACE_HUB_CACHE="/data1/liusr/cache"
export HF_HOME="/data1/liusr/cache"
export XDG_CACHE_HOME="/data1/liusr/cache"
但是在jypyter中使用huggingface的相关package的时候,仍旧会使用默认的路径,需要在代码中添加下面代码
os.environ['HF_HOME'] = "/data1/liusr/cache"
os.environ['HUGGINGFACE_HUB_CACHE'] = "/data1/liusr/cache"
os.environ['XDG_CACHE_HOME'] = "/data1/liusr/cache"
虽然这样可以临时解决问题,但是却也不是长久之计。
问题的源头在,
使用.py和.ipykernel运行下面代码的时候,得到的结果是不同的。
import os
print(os.environ)
在.py中的许多环境变量在.ipykernel中是看不到的。