一、设置下载位置
# 默认位置
~/.cache/huggingface/hub
由于默认会下载到.cahce文件中,我们在全局环境中把下载位置改到自己的huggingface文件夹下面
# 将下载位置到该文件夹中
vim ~/.bashrc
# 位置要从根目录/开始,不然就是相对目录,每次在运行Python文件的目录会创建
export HF_HOME=/data/hyq/huggingface
source ~/.bashrc
二、下载模型
这里我需要下载的是这个模型
https://huggingface.co/lier007/xiaobu-embedding-v2
到huggingface官网中,找到这个模型,然后下面会有用例
直接用他的代码,第一次用代码会自动下载模型文件
三、后续离线加载
# 设置离线模式(使用本地缓存)
os.environ['HF_DATASETS_OFFLINE'] = '1'
os.environ['TRANSFORMERS_OFFLINE'] = '1'