python3 爬取 kaggle-dataset目录

最新推荐文章于 2024-07-07 20:24:58 发布

「已注销」

最新推荐文章于 2024-07-07 20:24:58 发布

阅读量1.2k

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/char1024/article/details/79075742

版权

本文详细介绍了如何使用Python3爬取Kaggle平台上的数据集信息，包括数据集的名称、描述、作者等关键信息，通过实例代码展示爬虫实现过程，帮助读者掌握网络爬虫技术在数据获取中的应用。

摘要由CSDN通过智能技术生成

import logging
import os

try:
    os.mkdir("../data/")
finally:
    pass

def write_kaggle_datasets(i):
    import requests
    url_src = lambda x: 'https://www.kaggle.com/datasets_v2.json?sortBy=hottest&group=public&page='+ str(x) +'&pageSize=25&size=all&filetype=all&license=all'
    filename = 'dataset_split' + str(i)
    chunk_size &#