huggingface的模型下载
其实是用git手动下载
具体的方法:
sudo apt-get update
sudo apt-get install git-lfs
git lfs install
然后git clone https://huggingface.co/roberta-large
huggingface数据集下载
首先有些数据集也可以通过git下载(那种,打开数据集页面,文件中有数据集本体的,有些数据集文件里只有下载数据集的python脚本文件什么的,这种就不行)
那么只能,挂梯子,或者换一个网络,本地下载,然后上传到服务器:
# 下载并本地存储
from datasets import load_dataset
dataset = load_dataset('super_glue', 'cb', cache_dir='./raw_datasets')
dataset.save_to_disk('superglue_cb')
# 读取本地的文件
from datasets import load_from_disk
raw_dataset = load_from_disk("saved_to_disk/superglue_cb")