【huggingface网络问题】用 Git LFS(Large File Storage)解决huggingface大文件下载的问题

用了各种方法都没办法用pretrianed在python代码中下载模型,只好手动下载了。记录一个下载大文件的方法。

使用 Git LFS(Large File Storage)可以解决大文件下载的问题。以下是如何使用 Git LFS 手动下载 Hugging Face 模型文件的步骤:

安装 Git LFS

首先,确保你已经安装了 Git LFS。如果没有安装,可以按照以下步骤进行安装:

在 Linux 上安装 Git LFS

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo
sudo apt-get install git-lfs

初始化 Git LFS

安装完成后,需要初始化 Git LFS:

git lfs install

克隆 Hugging Face 模型仓库

以 stabilityai/stable-diffusion-2-1-base 模型为例,使用以下命令克隆仓库:

git clone https://huggingface.co/stabilityai/stable-diffusion-2-1-base

验证下载的文件

确保所有大文件已经正确下载:

cd stable-diffusion-2-1-base
git lfs pull

在代码中使用本地文件
假设您已经下载了模型文件,可以在代码中指定本地路径来加载模型。例如:

from transformers import AutoTokenizer, AutoModel

# 指定本地路径
model_name_or_path = "./stable-diffusion-2-1-base"

# 加载 tokenizer 和模型
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModel.from_pretrained(model_name_or_path)

# 打印模型信息
print(model)
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值