深度学习数据集下载

数据集下载链接:

  • LT-CIFAR-10 and
  • LT-CIFAR-100:https://www.cs.toronto.edu/~kriz/cifar.html
  • TieredImageNet: tieredImageNet Tiny
  • ImageNet:http://cs231n.stanford.edu/tiny-imagenet-200.zip SUN-324:
  • https://sun3d.cs.princeton.edu/ iNaturalist:
  • https://github.com/visipedia/inat_comp/tree/master/2018
  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
以下是一个简单的inaturalist爬虫的实现过程: 1. 导入所需的库 ```python import requests import json import time ``` 2. 设置请求头和URL ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } url = 'https://www.inaturalist.org/observations.json' ``` 3. 设置查询参数 ```python params = { 'per_page': 200, # 每页200条记录 'page': 1, # 从第一页开始 'order': 'desc', # 按照时间倒序排列 'order_by': 'created_at', # 按照创建时间排序 'place_id': 1, # 设置地点ID,可以根据需要修改 'taxon_id': 1 # 设置分类ID,可以根据需要修改 } ``` 4. 发送请求并获取数据 ```python response = requests.get(url, headers=headers, params=params) data = response.json() ``` 5. 处理数据 ```python # 处理第一页数据 process_data(data) # 获取总记录数 total_results = data['total_results'] # 计算总页数 total_pages = total_results // 200 + 1 # 处理剩余页数据 for page in range(2, total_pages + 1): params['page'] = page response = requests.get(url, headers=headers, params=params) data = response.json() process_data(data) time.sleep(1) # 为了避免请求频率过快被封IP,可以适当添加延时 ``` 6. 定义处理数据的函数 ```python def process_data(data): # 在这里对数据进行处理,可以保存到文件或者进行其他操作 for observation in data['results']: # 处理每条记录 pass ``` 请注意,这只是一个简单的示例,实际的爬虫可能需要更复杂的逻辑和处理方式。此外,爬取网站数据时需要遵守网站的使用规则和法律法规。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值