微调/预训练好的模型从服务器上传至huggingface的方法(不需要魔法)

微调/预训练好的模型无痛上传至huggingface方法


此方法适用于无法或者不想在实验室服务器挂代理的苦逼学生

注:本方法不需要魔法

上传前的准备

下载lfs

$curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
$sudo apt-get install git-lfs
$git lfs install

从huggingface申请token,下一步要用:huggingface跳转链接
在这里插入图片描述
安装huggingface-cli

pip install huggingface_hub
huggingface-cli login
# 这里会要求输入你的token

下载你的模型

首先要git clone你的模型
重点来了,hf的link需要更改为镜像的https://hf-mirror.com/

git lfs install
git clone https://hf-mirror.com/username/model_name

进入仓库,并将你想要上传的文件放入文件夹内

cd model_name
cp path path

lfs track

# huggingface-cli lfs-enable-largefiles ./path/to/your/repo
git lfs track "*.safetensors" # 选择你要上传的大文件的后缀  

上传

git add .
git commit -m "add model"
git push

这样就可以了,而且传输速度极快。在这里插入图片描述

tips:
如果还不行的话,就把hf的权限暂时打开成public,再转回private:))

# 我在第一次上传的时候遇到了这个问题,如果最后一步出现了无法推送的问题,请设置一下重新推送
git remote set-url origin https://<user_name>:<token>@hf-mirror.com/<repo_path 

参考链接

link1
link2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值