huggingface上下载数据

先登录huggingface

huggingface-cli login

方法 1：使用 huggingface_hub 下载整个仓库

Hugging Face 提供了一个 huggingface_hub 库，可以用来直接下载整个仓库的内容，包括所有文件夹和文件。

安装 huggingface_hub
如果尚未安装，运行以下命令：

pip install huggingface_hub

使用 huggingface_hub 下载
运行以下代码以下载整个数据集到本地：

from huggingface_hub import snapshot_download

下载整个仓库到本地路径 “./edgnn-hypergraph-dataset”

local_dir = snapshot_download(repo_id="peihaowang/edgnn-hypergraph-dataset", local_dir="./edgnn-hypergraph-dataset")
print(f"Dataset downloaded to {local_dir}")

这将在当前目录下创建一个名为 edgnn-hypergraph-dataset 的文件夹，包含所有文件和子文件夹。

方法 2：使用 git 克隆仓库

Hugging Face 数据集的文件大多存储在 Git LFS（大文件存储）中，因此你可以直接克隆数据集仓库并下载文件。

安装 git-lfs
确保本地安装了 git-lfs，因为部分文件可能存储在 Git LFS 中：

git lfs install

克隆仓库
运行以下命令克隆数据集：

bash

git clone https://huggingface.co/datasets/peihaowang/edgnn-hypergraph-dataset

克隆完成后，文件夹结构会和网页上看到的一致。如果文件存储在 Git LFS 中，则需要运行以下命令下载文件：

git lfs pull