解决huggingface 在代码因为网络无法下载模型和数据集的问题(伪)

huggingface的模型下载

其实是用git手动下载
具体的方法:

sudo apt-get update
sudo apt-get install git-lfs
git lfs install 

然后git clone https://huggingface.co/roberta-large

huggingface数据集下载

首先有些数据集也可以通过git下载(那种,打开数据集页面,文件中有数据集本体的,有些数据集文件里只有下载数据集的python脚本文件什么的,这种就不行)

那么只能,挂梯子,或者换一个网络,本地下载,然后上传到服务器:

# 下载并本地存储
from datasets import load_dataset
dataset = load_dataset('super_glue', 'cb', cache_dir='./raw_datasets')
dataset.save_to_disk('superglue_cb')

# 读取本地的文件
from datasets import load_from_disk
raw_dataset = load_from_disk("saved_to_disk/superglue_cb")
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值