hugging face下载dataset时候出现You must be authenticated to access it.问题解决

Cannot access gated repo for url https://huggingface.co/tiiuae/falcon-180B/resolve/main/tokenizer_config.json.
Repo model tiiuae/falcon-180B is gated. You must be authenticated to access it.

参考https://huggingface.co/docs/huggingface_hub/guides/download

先安装huggingface_hub，进行下载数据库，使用

from huggingface_hub import snapshot_download
snapshot_download(repo_id="google/fleurs", repo_type="dataset")

 

 

类似You must be authenticated to access it.这样的问题需要这么解决，

from huggingface_hub import login
login()

 

访问
 

获取tokens，hf-**********

输入后就可以开始下载了

这种方法下，总是往c盘下载，已经使用snapshot_download(repo_id="Oasis-Team/Oasis-Corpus", repo_type="dataset",local_dir="H:/data")规定local_dir了，没用，应该是要规定cache的位置

snapshot_download(repo_id="Oasis-Team/Oasis-Corpus",repo_type="dataset",local_dir="H:/data",cache_dir="H:/cache")

 只能删掉，C盘空间有限，

 又去试了一下git clone

这个时候可以下载了，之前也有hugging face授权的问题。在下载了，速度还可以