datacomp_large数据集下载，snapshot_download使用示例

XD742971636

已于 2024-07-31 10:25:06 修改

阅读量1k

点赞数

分类专栏：深度学习机器学习文章标签： linux 服务器数据集 datacomp

于 2023-12-22 12:45:37 首次发布

本文链接：https://blog.csdn.net/x1131230123/article/details/135150482

版权

深度学习机器学习专栏收录该内容

488 篇文章 ¥79.90 ¥99.00

订阅专栏

数据集下载：https://huggingface.co/datasets/mlfoundations/datacomp_large

import os
from huggingface_hub import snapshot_download

def download_parquet_files(repo_id, output_dir):
    """
    Download .parquet files from a Hugging Face dataset repository using snapshot_download.

    Args:
    - repo_id (str): The ID of the Hugging Face dataset repository.