PAI平台下载hugging face repository

阿里云PAI DSW平台下载Hugging Face repository

1. Hugging Face环境准备

PAI DSW提供的快捷连接
我们仅使用前两步，可直接运行下面代码，也可通过官方快捷文档运行

!pip install transformers datasets tokenizers huggingface_hub sentencepiece

from transformers import pipeline; print(pipeline('sentiment-analysis')('we love you'))

2. 下载

from huggingface_hub import snapshot_download

snapshot_download(repo_id="Rostlab/prot_t5_xl_uniref50", local_dir="/mnt/workspace/prot_t5_xl_uniref50")

• 如果没有local_dir，将默认下载到/root/.cache
• 参数allow_patterns=["*.json", "pytorch_model.bin", "test.txt"]可以下载指定文件

ref: huggingface_hub参考 优雅下载的多种方法(git lfs我等了好久都没成功)