INaturalist爬虫：动植物研究学者的数据下载利器，别再为下载数据花时间发愁！

最新推荐文章于 2024-03-17 09:42:29 发布
最新推荐文章于 2024-03-17 09:42:29 发布
阅读量3.3k 收藏 18
点赞数 2
分类专栏： Web Crawler 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Oruizn/article/details/110703774
版权

蜻蜓

目录

前言

iNaturalist 是世界上最受欢迎的大自然观察网站之一。 iNaturalist 为动植物学家提供了大量的由志愿者拍摄提供的动植物图片或记录，这些数据对于学者进行研究非常重要。他们设置了一个网页供用户下载数据，但由于网站数据导出的限制，每次只能下载不超过20w条记录，而且每次导出都需要很长一段时间，学者需要频繁查看是否下载完成，下载数据后重复操作继续下载。这个过程十分耗费时间，因此提供一个脚本实现自动化数据下载。

目前项目已经提交在GitHub上，需要的同学可以自行clone，顺便给个小小的star!

实现思路

  1. 获取INaturalist网站的用户cookies与authentication token；
  2. 查询目标的数据量，如果超过20w条记录，则需要缩小查询范围；
  3. 提交数据打包任务；
  4. 查询任务是否完成；
  5. 下载数据包并记录数据包的基本信息；
  6. 删除任务，避免占用太多后台空间(为己为人，保护网络资源)

实现过程

【注意：我的需求是下载INaturalist上全年全球的动植物数据，打包数据的字段除了Taxon Extras不包含，其他全部都需要】

1、用户cookies与authentication token的获取

这一步有两种实现方案：一种是用户手动获取，一种是通过模拟登陆获取。
由于获取cookies与authentication token只需要用户在浏览器登录网站就能得到，而且只需要获取一次，因此没有采用模拟登陆获取的方案。以下讲述用户如何手动获取这两个用户标识。

  • 注册并登录数据导出网页，按下F12，并点击Network，刷新页面，按照下图步骤寻找关键字，记录cookies中的内容。
    获取用户cookies
  • 通过网页提供的查询栏，随便填写选项后发出查询，此时可以看到用户的authentication token，记录token的内容。获取authentication token
# 设置用户的cookie，可以从浏览器中获取
def get_cookies():
    # str需要替换成自己账号的cookies，获取步骤详看图片指引
    str = r''
    return str

# 设置用户的权限token，可以从浏览器中获取
def get_authenticity_token():
    # str需要替换成自己账号的authenticity_token，获取步骤详看图片指引
    str = r''
    return str

2、查询目标的数据量

通过观察网站的网络请求服务列表，可以发现有一个固定的接口(get 类型)来完成数据的查询，其中在返回信息的header中包含该数据查询的数据量，因此可以通过该接口进行判断。
涉及到网络请求，可以使用requests库来简便地实现。但是我们需要自己构建请求头信息，这就需要我们上面获取到的cookies和authentication token了。

  • 先构建一个get方法和一个post方法，需要注意的是由于该网站服务器位于国外，有时会无法访问，因此需要在get与post方法中实现轮询。
# 通过get方法进行查询，并返回response
# 输入参数：requests创建的session(网络会话)、访问的url
def get_method(session, url):
    # 添加请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
        'Connection': 'keep-alive',
        'Cookie': get_cookies()
    }
    resp = None
    # 如果查询引发异常，则跳过，睡眠5秒后再次查询
    session.headers = headers
    while(resp == None):
        try:
            resp = session.get(url)
        except:
            resp = None
            time.sleep(5) #避免频繁请求对后台造成巨大压力
    resp.close()
    return resp

# 通过post方法进行提交，并返回response
# 输入参数：requests创建的session(网络会话)、访问的url、表单数据(目前为固定内容)
def post_method(session, url, headers, data):
    resp = None
    session.headers = headers
    while (resp == None):
        try:
            resp = session.post(url, data=data)
        except:
            resp = None
            time.sleep(5) #避免频繁请求对后台造成巨大压力
    resp.close()
    return resp
  • 构建查询的url，发出请求，并获取查询的数据量。网站提供的查询选项很多，开发者可以根据自己的需要先构建一条目标url，然后根据这个url设计自己的构建方法。由于这个部分有很的组合类型，博主就不一一列出，仅使用最简单的日期作为示例。
    查询选项
# 用于查询指定日期内有多少条记录
# 输入参数：requests创建的session(网络会话),d1(起始日期),d2(终止日期)
# 返回内容：时间段中的记录条数
def check_data_count_during_date(session, d1, d2):
    url_str = r'https://www.inaturalist.org/observations?quality_grade=any&identifications=any&d1=' + d1 + '&d2=' + d2 + '&partial=cached_component'
    resp = get_method(session, url_str)
    # 从response的头文件中查找记录条数总数，每次下载最大量不超过20w
    return int(resp.headers.get('X-Total-Entries'))

3、提交数据打包任务

如果数据量没有超过20w，则可以向后台提交打包任务了。需要注意的时候post方法的Header与get方法的Header并不一样，因此需要独立构建，需要用到cookies和token。

  • 提交的打包任务需要告诉后台你需要什么样的字段。后台通过表单的形式接收这些字段参数。
    打包字段
# 设置创建的时间段、需要包含的字段信息，1代表选择，0代表不选择
# 输入参数：d1(起始日期),d2(终止日期)
def get_form_data(d1, d2):
    data = {
        'utf8': '✓',
        'observations_export_flow_task[inputs_attributes][0][extra][query]': 'quality_grade=any&identifications=any&d1='+ d1 + '&d2=' + d2,
        'observations_export_flow_task[options][columns][id]': '1',
        'observations_export_flow_task[options][columns][observed_on_string]': '1',
        'observations_export_flow_task[options][columns][observed_on]': '1',
        'observations_export_flow_task[options][columns][time_observed_at]': '1',
        'observations_export_flow_task[options][columns][time_zone]': '1',
        'observations_export_flow_task[options][columns][user_id]': '1',
        'observations_export_flow_task[options][columns][user_login]': '1',
        'observations_export_flow_task[options][columns][created_at]': '1',
        'observations_export_flow_task[options][columns][updated_at]': '1',
        'observations_export_flow_task[options][columns][quality_grade]': '1',
        'observations_export_flow_task[options][columns][license]': '1',
        'observations_export_flow_task[options][columns][url]': '1',
        'observations_export_flow_task[options][columns][image_url]': '1',
        'observations_export_flow_task[options][columns][sound_url]': '1',
        'observations_export_flow_task[options][columns][tag_list]': '1',
        'observations_export_flow_task[options][columns][description]': '1',
        'observations_export_flow_task[options][columns][num_identification_agreements]': '1',
        'observations_export_flow_task[options][columns][num_identification_disagreements]': '1',
        'observations_export_flow_task[options][columns][captive_cultivated]': '1',
        'observations_export_flow_task[options][columns][oauth_application_id]': '1',
        'observations_export_flow_task[options][columns][place_guess]': '1',
        'observations_export_flow_task[options][columns][latitude]': '1',
        'observations_export_flow_task[options][columns][longitude]': '1',
        'observations_export_flow_task[options][columns][positional_accuracy]': '1',
        'observations_export_flow_task[options][columns][private_place_guess]': '1',
        'observations_export_flow_task[options][columns][private_latitude]': '1',
        'observations_export_flow_task[options][columns][private_longitude]': '1',
        'observations_export_flow_task[options][columns][private_positional_accuracy]': '1',
        'observations_export_flow_task[options][columns][geoprivacy]': '1',
        'observations_export_flow_task[options][columns][taxon_geoprivacy]': '1',
        'observations_export_flow_task[options][columns][coordinates_obscured]': '1',
        'observations_export_flow_task[options][columns][positioning_method]': '1',
        'observations_export_flow_task[options][columns][positioning_device]': '1',
        'observations_export_flow_task[options][columns][place_town_name]': '1',
        'observations_export_flow_task[options][columns][place_county_name]': '1',
        'observations_export_flow_task[options][columns][place_state_name]': '1',
        'observations_export_flow_task[options][columns][place_country_name]': '1',
        'observations_export_flow_task[options][columns][place_admin1_name]': '1',
        'observations_export_flow_task[options][columns][place_admin2_name]': '1',
        'observations_export_flow_task[options][columns][species_guess]': '1',
        'observations_export_flow_task[options][columns][scientific_name]': '1',
        'observations_export_flow_task[options][columns][common_name]': '1',
        'observations_export_flow_task[options][columns][iconic_taxon_name]': '1',
        'observations_export_flow_task[options][columns][taxon_id]': '1',
        'observations_export_flow_task[options][columns][taxon_kingdom_name]': '0',
        'observations_export_flow_task[options][columns][taxon_phylum_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subphylum_name]': '0',
        'observations_export_flow_task[options][columns][taxon_superclass_name]': '0',
        'observations_export_flow_task[options][columns][taxon_class_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subclass_name]': '0',
        'observations_export_flow_task[options][columns][taxon_superorder_name]': '0',
        'observations_export_flow_task[options][columns][taxon_order_name]': '0',
        'observations_export_flow_task[options][columns][taxon_suborder_name]': '0',
        'observations_export_flow_task[options][columns][taxon_superfamily_name]': '0',
        'observations_export_flow_task[options][columns][taxon_family_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subfamily_name]': '0',
        'observations_export_flow_task[options][columns][taxon_supertribe_name]': '0',
        'observations_export_flow_task[options][columns][taxon_tribe_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subtribe_name]': '0',
        'observations_export_flow_task[options][columns][taxon_genus_name]': '0',
        'observations_export_flow_task[options][columns][taxon_genushybrid_name]': '0',
        'observations_export_flow_task[options][columns][taxon_species_name]': '0',
        'observations_export_flow_task[options][columns][taxon_hybrid_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subspecies_name]': '0',
        'observations_export_flow_task[options][columns][taxon_variety_name]': '0',
        'observations_export_flow_task[options][columns][taxon_form_name]': '0',
        'commit': '创建导出'
    }
    return data
  • 用户cookies和token、字段表单都准备好后，就能向后台发送任务了。此时需要记录这次打包任务的id号，用户查询该任务是否已经完成，为下载数据包做准备。
# 发送打包数据的任务
# 输入参数：d1(起始日期),d2(终止日期)
# 返回内容：任务的id号
def send_pack_data_proceess(session, d1, d2):
    # 添加请求头
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Content-Length': '8917',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
        'Connection': 'keep-alive',
        'Cookie': get_cookies(),
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Host': 'www.inaturalist.org',
        'Origin': 'https://www.inaturalist.org',
        'Referer': 'https://www.inaturalist.org/observations/export',
        'X-CSRF-Token': get_authenticity_token(),
        'X-Requested-With': 'XMLHttpRequest'
    }
    url_str = r'https://www.inaturalist.org/flow_tasks'
    resp = post_method(session, url_str, headers, get_form_data(d1, d2))
    # 解析并返回任务的id号
    user_dict = json.loads(resp.text)
    return str(user_dict['id'])

4、查询任务是否完成

要查询任务是否完成，就需要上面我们记录的id号，通过这个id号查询项目的进度，如果进度显示完成，则可以进行下载步骤。需要注意的是，查询返回的json数据，可以通过json库自动解析为字典，再通过获取字典的信息判断任务进度。

# 获取创建进度查询的url
# 输入参数：requests创建的session(网络会话),任务的的id号
# 返回内容：output中的id和file_file_name
def check_proceess(session, projectId):
    url_str = r'https://www.inaturalist.org/flow_tasks/' + projectId + r'/run.json'
    print('开始检查任务进度...')
    resp = get_method(session, url_str)
    print('结束检查任务进度...')
    # 如果打包完成，则output中存在相应的数据
    user_dict = json.loads(resp.text)
    if len(user_dict['outputs']) > 0:
        return {'id': str(user_dict['outputs'][0]['id']), 'file_file_name': user_dict['outputs'][0]['file_file_name']}
    else:
        return {'id': 'null', 'file_file_name': 'null'}

5、下载数据包

查询到任务进度完成后，则可以进行自动下载。指定自己想要的名字进行保存后，设置任务id向后台发起下载请求(该数据为zip格式)，因此需要使用到流下载模式和块写入模式。

# 下载数据，需要提供requests创建的session(网络会话),下载id号,文件名称和保存路径
def download_zip(session, id, file_file_name, save_path, chunk_size=128) -> bool:
    str_url = r'https://www.inaturalist.org/attachments/flow_task_outputs/' + id + '/' + file_file_name
    resp = None
    while(resp == None):
        try:
            resp = session.get(str_url, stream=True)
        except:
            resp = None
            time.sleep(5) #避免频繁请求对后台造成巨大压力
    with open(save_path, 'wb') as fd:
        for chunk in resp.iter_content(chunk_size=chunk_size):
            fd.write(chunk)
    resp.close()

6、删除任务

这一步在博主看来十分的重要，人家网站为大众提供了这么好的数据，如果我们下载完后擦擦屁股走人，放任占用人家后台的硬盘资源，那真的是很不该，所以啊，下载完之后一定要把人家的资源释放掉！！！

# 删除任务
def delete_proceess(session, id) -> bool:
    # 设置请求头
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'Accept-Encoding': 'gzip, deflate, br',
        'Content-Length': '128',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
        'Connection': 'keep-alive',
        'Cookie': get_cookies(),
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Host': 'www.inaturalist.org',
        'Origin': 'https://www.inaturalist.org',
        'Referer': 'https://www.inaturalist.org/observations/export'
    }
    # 设置请求url
    url_str = r'https://www.inaturalist.org/flow_tasks/' + id
    # 构建请求表单数据
    data = {
        '_method': 'delete',
        'authenticity_token': get_authenticity_token()
    }
    resp = post_method(session, url_str, headers, data)
    if (resp != None):
        print('删除任务成功...')
        return True
    else:
        return False

完整代码

import requests
import json
import datetime
import time

# 设置用户的cookie，可以从浏览器中获取
def get_cookies():
    # str需要替换成自己账号的cookies，获取步骤详看图片指引
    str = r''
    return str

# 设置用户的权限token，可以从浏览器中获取
def get_authenticity_token():
    # str需要替换成自己账号的authenticity_token，获取步骤详看图片指引
    str = r''
    return str

# 模拟登陆INaturalist，用于获取token与cookie
# 待定

# 设置创建的时间段、需要包含的字段信息，1代表选择，0代表不选择
# 输入参数：requests创建的session(网络会话),d1(起始日期),d2(终止日期)
def get_form_data(d1, d2):
    data = {
        'utf8': '✓',
        'observations_export_flow_task[inputs_attributes][0][extra][query]': 'quality_grade=any&identifications=any&d1='+ d1 + '&d2=' + d2,
        'observations_export_flow_task[options][columns][id]': '1',
        'observations_export_flow_task[options][columns][observed_on_string]': '1',
        'observations_export_flow_task[options][columns][observed_on]': '1',
        'observations_export_flow_task[options][columns][time_observed_at]': '1',
        'observations_export_flow_task[options][columns][time_zone]': '1',
        'observations_export_flow_task[options][columns][user_id]': '1',
        'observations_export_flow_task[options][columns][user_login]': '1',
        'observations_export_flow_task[options][columns][created_at]': '1',
        'observations_export_flow_task[options][columns][updated_at]': '1',
        'observations_export_flow_task[options][columns][quality_grade]': '1',
        'observations_export_flow_task[options][columns][license]': '1',
        'observations_export_flow_task[options][columns][url]': '1',
        'observations_export_flow_task[options][columns][image_url]': '1',
        'observations_export_flow_task[options][columns][sound_url]': '1',
        'observations_export_flow_task[options][columns][tag_list]': '1',
        'observations_export_flow_task[options][columns][description]': '1',
        'observations_export_flow_task[options][columns][num_identification_agreements]': '1',
        'observations_export_flow_task[options][columns][num_identification_disagreements]': '1',
        'observations_export_flow_task[options][columns][captive_cultivated]': '1',
        'observations_export_flow_task[options][columns][oauth_application_id]': '1',
        'observations_export_flow_task[options][columns][place_guess]': '1',
        'observations_export_flow_task[options][columns][latitude]': '1',
        'observations_export_flow_task[options][columns][longitude]': '1',
        'observations_export_flow_task[options][columns][positional_accuracy]': '1',
        'observations_export_flow_task[options][columns][private_place_guess]': '1',
        'observations_export_flow_task[options][columns][private_latitude]': '1',
        'observations_export_flow_task[options][columns][private_longitude]': '1',
        'observations_export_flow_task[options][columns][private_positional_accuracy]': '1',
        'observations_export_flow_task[options][columns][geoprivacy]': '1',
        'observations_export_flow_task[options][columns][taxon_geoprivacy]': '1',
        'observations_export_flow_task[options][columns][coordinates_obscured]': '1',
        'observations_export_flow_task[options][columns][positioning_method]': '1',
        'observations_export_flow_task[options][columns][positioning_device]': '1',
        'observations_export_flow_task[options][columns][place_town_name]': '1',
        'observations_export_flow_task[options][columns][place_county_name]': '1',
        'observations_export_flow_task[options][columns][place_state_name]': '1',
        'observations_export_flow_task[options][columns][place_country_name]': '1',
        'observations_export_flow_task[options][columns][place_admin1_name]': '1',
        'observations_export_flow_task[options][columns][place_admin2_name]': '1',
        'observations_export_flow_task[options][columns][species_guess]': '1',
        'observations_export_flow_task[options][columns][scientific_name]': '1',
        'observations_export_flow_task[options][columns][common_name]': '1',
        'observations_export_flow_task[options][columns][iconic_taxon_name]': '1',
        'observations_export_flow_task[options][columns][taxon_id]': '1',
        'observations_export_flow_task[options][columns][taxon_kingdom_name]': '0',
        'observations_export_flow_task[options][columns][taxon_phylum_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subphylum_name]': '0',
        'observations_export_flow_task[options][columns][taxon_superclass_name]': '0',
        'observations_export_flow_task[options][columns][taxon_class_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subclass_name]': '0',
        'observations_export_flow_task[options][columns][taxon_superorder_name]': '0',
        'observations_export_flow_task[options][columns][taxon_order_name]': '0',
        'observations_export_flow_task[options][columns][taxon_suborder_name]': '0',
        'observations_export_flow_task[options][columns][taxon_superfamily_name]': '0',
        'observations_export_flow_task[options][columns][taxon_family_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subfamily_name]': '0',
        'observations_export_flow_task[options][columns][taxon_supertribe_name]': '0',
        'observations_export_flow_task[options][columns][taxon_tribe_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subtribe_name]': '0',
        'observations_export_flow_task[options][columns][taxon_genus_name]': '0',
        'observations_export_flow_task[options][columns][taxon_genushybrid_name]': '0',
        'observations_export_flow_task[options][columns][taxon_species_name]': '0',
        'observations_export_flow_task[options][columns][taxon_hybrid_name]': '0',
        'observations_export_flow_task[options][columns][taxon_subspecies_name]': '0',
        'observations_export_flow_task[options][columns][taxon_variety_name]': '0',
        'observations_export_flow_task[options][columns][taxon_form_name]': '0',
        'commit': '创建导出'
    }
    return data

# 通过get方法进行查询，并返回response
# 输入参数：requests创建的session(网络会话),访问的url
def get_method(session, url):
    # 添加请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
        'Connection': 'keep-alive',
        'Cookie': get_cookies()
    }
    resp = None
    # 如果查询引发异常，则跳过，睡眠5秒后再次查询
    session.headers = headers
    while(resp == None):
        try:
            resp = session.get(url)
        except:
            resp = None
            time.sleep(5)
    resp.close()
    return resp

# 通过post方法进行提交，并返回response
# 输入参数：requests创建的session(网络会话),访问的url、表单数据(目前为固定内容)
def post_method(session, url, headers, data):
    resp = None
    session.headers = headers
    while (resp == None):
        try:
            resp = session.post(url, data=data)
        except:
            resp = None
            time.sleep(5)
    resp.close()
    return resp

# 用于查询指定日期内有多少条记录
# 输入参数：requests创建的session(网络会话),d1(起始日期),d2(终止日期)
# 返回内容：时间段中的记录条数
def check_data_count_during_date(session, d1, d2):
    url_str = r'https://www.inaturalist.org/observations?quality_grade=any&identifications=any&d1=' + d1 + '&d2=' + d2 + '&partial=cached_component'
    resp = get_method(session, url_str)
    # 从response的头文件中查找记录条数总数，每次下载最大量不超过20w
    return int(resp.headers.get('X-Total-Entries'))

# 发送打包数据的任务
# 输入参数：requests创建的session(网络会话),d1(起始日期),d2(终止日期)
# 返回内容：任务的id号
def send_pack_data_proceess(session, d1, d2):
    # 添加请求头
    headers = {
        'Accept': 'application/json, text/javascript, */*; q=0.01',
        'Accept-Encoding': 'gzip, deflate, br',
        'Content-Length': '8917',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
        'Connection': 'keep-alive',
        'Cookie': get_cookies(),
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Host': 'www.inaturalist.org',
        'Origin': 'https://www.inaturalist.org',
        'Referer': 'https://www.inaturalist.org/observations/export',
        'X-CSRF-Token': get_authenticity_token(),
        'X-Requested-With': 'XMLHttpRequest'
    }
    url_str = r'https://www.inaturalist.org/flow_tasks'
    resp = post_method(session, url_str, headers, get_form_data(d1, d2))
    # 解析并返回任务的id号
    user_dict = json.loads(resp.text)
    return str(user_dict['id'])

# 获取创建进度查询的url
# 输入参数：requests创建的session(网络会话),任务的的id号
# 返回内容：output中的id和file_file_name
def check_proceess(session, projectId):
    url_str = r'https://www.inaturalist.org/flow_tasks/' + projectId + r'/run.json'
    print('开始检查任务进度...')
    resp = get_method(session, url_str)
    print('结束检查任务进度...')
    # 如果打包完成，则output中存在相应的数据
    user_dict = json.loads(resp.text)
    if len(user_dict['outputs']) > 0:
        return {'id': str(user_dict['outputs'][0]['id']), 'file_file_name': user_dict['outputs'][0]['file_file_name']}
    else:
        return {'id': 'null', 'file_file_name': 'null'}

# 下载数据，需要requests创建的session(网络会话),提供下载id号和文件名称
def download_zip(session, id, file_file_name, save_path, chunk_size=128) -> bool:
    str_url = r'https://www.inaturalist.org/attachments/flow_task_outputs/' + id + '/' + file_file_name
    resp = None
    while(resp == None):
        try:
            resp = session.get(str_url, stream=True)
        except:
            resp = None
            time.sleep(5)
    with open(save_path, 'wb') as fd:
        for chunk in resp.iter_content(chunk_size=chunk_size):
            fd.write(chunk)
    resp.close()

# 删除任务
def delete_proceess(session, id) -> bool:
    # 设置请求头
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
        'Accept-Encoding': 'gzip, deflate, br',
        'Content-Length': '128',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36',
        'Connection': 'keep-alive',
        'Cookie': get_cookies(),
        'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
        'Host': 'www.inaturalist.org',
        'Origin': 'https://www.inaturalist.org',
        'Referer': 'https://www.inaturalist.org/observations/export'
    }
    # 设置请求url
    url_str = r'https://www.inaturalist.org/flow_tasks/' + id
    # 构建请求表单数据
    data = {
        '_method': 'delete',
        'authenticity_token': get_authenticity_token()
    }
    resp = post_method(session, url_str, headers, data)
    if (resp != None):
        print('删除任务成功...')
        return True
    else:
        return False

# 计算第n天后的日期，一般为6天后，总共是7天
# 输入参数：起始日期
# 返回内容：第n天后的日期
def get_date(date_str, n = 6):
    the_date = datetime.datetime.strptime(date_str, '%Y-%m-%d')
    result_date = the_date + datetime.timedelta(days = n) # 第n天后是几号
    d = result_date.strftime('%Y-%m-%d')
    return d

# 比较两个真实日期之间的大小，如果截止日期小于终止日期，则返回True
def date_compare(date, end_date) -> bool:
    satrt_day = datetime.datetime.strptime(date, '%Y-%m-%d')
    end_day = datetime.datetime.strptime(end_date, '%Y-%m-%d')
    return satrt_day <= end_day

#  执行函数
if __name__ == '__main__':
    # 流程步骤
    # 0、在浏览器登录INaturalist网站，按F12，点击Network，在Name列表中找到export请求，点击Headers->Request Headers->Cookies，复制粘贴到get_cookies函数中；
    # 0、点击查找数据范围，在Network的Name列表中找到observations?quality_grade=any&identifications=any请求，点击Headers->Request Headers->X-CSRF-Token，复制粘贴到get_csrf函数中；
    # 0、点击Elements左侧的第二个图标，变为蓝色后选择任务列表的删除按钮，右侧菜单栏自动索引到按钮的DOM位置，找到authenticity_token对应的value，复制粘贴到get_authenticity_token函数中；
    # 1、设置存储路径和总的起始日期、终止日期
    # 2、设置一定的时间段，比如6天或7天，得到截止日期，查询后如果返回的记录超过20w，则减少一天，直至记录在20w之内
    # 3、提交打包任务
    # 4、设置一定时间后检查任务完成进度，如果完成，则获取任务的输出结果id和file名称
    # 5、下载输出结果
    # 6、下载完建议删除任务结果，防止占用内存
    # 7、再次开始执行步骤2，直到终止日期
    store_path = r'' # 存储的路径，如果不设置，则默认与py文件同路径
    start_day = '2019-01-01' # 起始日期
    end_day = '2019-12-31' # 终止日期
    init_data_interval = 6 # 天数间隔
    day_interval = init_data_interval
    stop_day = get_date(start_day, day_interval) # 截止日期
    m_session = requests.session() # 创建网络会话连接
    # 如果截止日期小于终止日期，则允许执行
    while(date_compare(stop_day, end_day)):
        # 如果返回的数目超过20w，则将日期减少一天，直至满足条件
        while(check_data_count_during_date(m_session, start_day, stop_day) > 200000):
            day_interval = day_interval - 1
            if (day_interval < 0):
                with open("download_record.txt", "a") as f:
                    f.write(start_day + '  can not download automatically!' + '\n')
                break
            stop_day = get_date(start_day, day_interval)
            time.sleep(5) # 5秒之后再访问
        # 如果单天的数据量超过20w，则跳过当天数据的下载
        if (day_interval < 0):
            # 更新时间段
            day_interval = init_data_interval
            start_day = get_date(stop_day, 1)  # 起始日期为上次结束日期的下一天
            stop_day = get_date(start_day, day_interval)
            continue
        # 某个时间段中的总记录数
        record_count = check_data_count_during_date(m_session, start_day, stop_day)
        # 满足打包条件后，发送打包任务
        print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') + ' 发送任务...')
        project_id = send_pack_data_proceess(m_session, start_day, stop_day)
        # 发送打包任务后，先发两次查询，相隔一段时间后再查询一次
        file_result = check_proceess(m_session, project_id)
        print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') + ' ' + file_result['id'] + ' ' + file_result['file_file_name'])
        minute_45 = 2700  #45分钟，下载近20w数据量的轮询时间
        minute_20 = 1200 #20分钟，下载单天数据量的轮询时间
        while(file_result['id'] == 'null'):
            time.sleep(minute_45)
            file_result = check_proceess(m_session, project_id)  # 更新检查
            print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') + ' ' + file_result['id'] + ' ' + file_result['file_file_name'])
        # 下载文件
        file_name = 'observations-' + start_day + '-' + stop_day + '.csv.zip'
        download_zip(m_session, file_result['id'], file_result['file_file_name'], store_path + file_name)
        # 将文件基本信息进行记录
        with open("download_record.txt", "a") as f:
            f.write(file_name + '    ' + start_day + '    ' + stop_day + '    ' + str(record_count) + '\n')
        time.sleep(5) # 停止操作5秒后执行删除任务
        delete_proceess(m_session, project_id) # 下载完成后，删除任务数据，防止占用后台空间
        time.sleep(30)  # 删除操作后，停顿30秒后继续下一个任务
        print(datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') + ' 下载结束，开始新任务... ')
        # 更新时间段
        day_interval = init_data_interval
        start_day = get_date(stop_day, 1) #起始日期为上次结束日期的下一天
        stop_day = get_date(start_day, day_interval)
    m_session.close() # 结束网络会话连接

运行结果

数据记录

下一步计划

上面的项目代码只是为了满足博主个人的需要，其实还是有很多增加的部分。尤其是在查询数据量阶段，可能存在以下几种可能。

  • 单天全球的数据量超过20w，此时需要分为南半球下载和北半球下载，或者东西半球下载；
  • 不需要全球那么多的数据，只需要某个地区的数据，此时需要构建新的查询url，同时在发送任务的数据表单修改对应的url；
  • 不想有太多的zip包，而是下载完能够将一个时期内的数据都合并为一个完整的表格；
  • …
Oruizn
关注
专栏目录
Python 爬虫入门 - 数据存储方法
Mr数据杨
05-29 4万+
大家好，我是Mr数据杨。今天，来讲述一个有趣且实用的故事，那就是《三国演义》中的智者如何使用Python进行数据管理。让我们置身于那个战乱的年代，诸葛亮、郭嘉、周瑜，他们的智谋理解Python数据管理的精髓。首先，诸葛亮为了寻找盟友，开始抓取各地的人物数据，比如力量、智力等，这正如使用Python从网页上抓取数据一样。正是这些信息，让诸葛亮了解谁能够成为刘备的朋友，这就是所说的"三国志人物数据抓取"。然后，诸葛亮开始整理并保存数据。那时候没有电脑，他使用的是竹简。
使用爬虫下载会议视频
热门推荐
herosunly的博客
04-25 6万+
1. 使用浏览器获得下载链接等信息 1.1 得到下载链接 2. 使用Aria2下载(强烈推荐) 2.1 操作系统为Windows 2.1.1 安装 2.2.2 使用 2.2 操作系统为Linux
计算机视觉论文-2021-06-03
中科院AI算法工程师的博客
06-03 1056
1, TITLE:Digital Homotopy Relations and Digital Homology Theories AUTHORS: P. Christopher Staecker CATEGORY: math.AT [math.AT, cs.CV, math.GN, 55P10, 68R10] HIGHLIGHT: In this paper we prove results relating to two homotopy relations and four homology ...
NAB-filter:Python脚本可按物种，日期和地理位置过滤eBird和iNaturalist数据集
03-13
NAB数据集过滤器 这个小型的Python程序包使您可以根据物种通用名称，日期和位置从eBird和iNaturalist数据集中过滤观测值。 如果您需要查找尚未审查或接受的记录，它还允许仅从eBird过滤未确认的记录。 作为输入，程序包中的脚本需要一个eBird或iNaturalist数据库文件（可以分别从eBird或iNaturalist获得），一个规则文件（由用户编写）以及一个输出文件，匹配的记录来自eBird / iNaturalist数据库文件被写入。 安装 要安装此软件包，请运行： pip3 install .\ eBird过滤器的使用 该脚本需要eBird数据库文件的路径，规则文件的路径以及输出文件的路径。 它可以选择带标志以仅包括不可接受的观察值，并附加到而不是覆盖输出文件。 -i，-infile：输入eBird数据库文件的路径。 -r，--rules：规则csv文件
inaturalist昆虫数据集
qq_42397248的博客
12-21 5784
https://tensorflow.google.cn/datasets/catalog/i_naturalist2017?hl=zh-cn
探索自然界的奥秘：iNaturalist Android应用
最新发布
gitblog_00031的博客
03-17 688
探索自然界的奥秘：iNaturalist Android应用 iNaturalistAndroidAndroid app for iNaturalist.org项目地址:https://gitcode.com/gh_mirrors/in/iNaturalistAndroid 是一个基于移动设备的开源应用程序，旨在帮助用户记录、识别和分享他们在自然界中的观察。通过这款应用，你可以探索世界范围内的生...
php识别翻转iphone拍摄的颠倒图片,iNaturalist：借助普通人拍摄的照片准确识别物种...
weixin_35333277的博客
03-27 311
有朝一日，我们将拥有一款应用，只要你指向奇特的虫子或是陌生的蕨类植物，该应用就能告诉你它们属于什么物种。但是， 计算机视觉系统 现在并不能胜任这项工作。为了帮助解决这些问题，研究人员已经汇集了成千上万张普通人在真实环境下拍摄的生物照片——通过研究这些照片，我们的人工智能助手就能深入了解生物多样性。许多计算机视觉算法基于某个拥有大量图像的数据库进行了培训，这些图像可能包含从人到家用物品再到水果和蔬菜...
naturtag：使用iNaturalist分类法和观测元数据标记本地观测照片的工具
02-22
自然标签 Naturtag是使用iNaturalist分类法和观测元数据标记本地观测照片的工具。 这包括命令行界面，图形界面，也可以用作python包。 请在此处查看运行中的CLI： 内容 用例 目的是从您自己的iNaturalist观察中获取一些有用的信息，并将其嵌入到本地照片集中。 本地照片组织的元数据 如果您喜欢在iNaturalist.org及其移动应用程序上搜索和筛选观察结果的方式，并且希望您可以使用本地照片来进行操作，naturtag可以为您提供帮助。 它可以使用分层关键字标记您的照片，然后可以在照片查看器或DAM中使用它们，例如Lightroom ， 或 。 用于照片托管的元数据 Naturtag还可以简化为照片托管网站（如Flickr）添加照片的标签。 对于该用例，此工具以与相同的格式生成关键字。 其他生物多样性工具的元数据 最后，naturtag可以改善与其他与生物多
Python爬虫：爬取手机App数据，记得安装配置Charles
李元静
08-16 1万+
目录Python爬虫配置Charles设置手机代理服务器安装证书安装PC证书安装Android手机证书 Python爬虫 对于现在的爬虫程序来说，PC端网页数据往往并不理想。比如就拿CSDN来说，一篇帖子是否上热榜其根据的是App端数据，并不是PC端网页数据。 这也是时代的进步，从PC端到移动端，而且还有像小红书一样的App，其根本不提供PC端网页，只有App，要爬取这些数据，普通的Python爬虫肯定已经淘汰。 所以，我们需要借助Charles来抓取手机的HTTP与HTTPS数据包。尽然要通过Charle
用java实现爬虫抓取网页中的表格数据功能源码
12-20
使用java代码基于MyEclipse开发环境实现爬虫抓取网页中的表格数据，将抓取到的数据在控制台打印出来，需要后续处理的话可以在打印的地方对数据进行操作。包解压后导入MyEclipse就可以使用，在TestCrawTable中右键...
inat_comp:iNaturalist比赛详情
05-06
iNaturalist竞争数据集 目前比赛 历届比赛
ssd_mobilenet_v1_coco_2017_11_17.tar.gz
06-19
ssd_mobilenet_v1_coco_2017_11_17.tar.gz ssd_mobilenet_v1_coco_2017_11_17.tar.gz ssd_mobilenet_v1_coco_2017_11_17.tar.gz
iNaturalistCSVSpreadsheetCreator:该程序采用从iNaturalist生成的CSV并将其格式化为电子表格
03-25
iNaturalistCSVSpreadsheetCreator 该程序采用从iNaturalist生成的CSV并将其格式化为电子表格。 阅读自述文件以获得说明。 指示： 导出CSV文件： 要导出iNaturalist数据，请访问 。 打开另一个标签，然后为您的公园拉起“观察”页面。 我做了Guerrero Park，所以URL看起来像这样： : place_id=144488 quality_grade=research verifiable=any view=species iconic_taxa=Plantae注意URL字符串中的“ place_id =”参数。 将该参数复制到导出页面的搜索栏中。 对我来说，我将复制“ place_id = 144488”。 接下来，在质量等级下，选择“研究”。 对于“圈养/耕种”，选择“否”。 保留过滤器部分中的所有其他内容不变
Python爬虫：详解Appium如何爬取手机App数据以及模拟用户操作手势
李元静
08-27 1万+
目录Appium模拟操作屏幕滑动屏幕点击屏幕拖动屏幕拖拽文本输入 Appium 在前文的讲解中，我们学会了如何安装Appium，以及一些基础获取App元素内容的方式。但认真看过前文的读者，肯定在博主获取元素的时候观察到了一个现象。 那就是手机App的内容并不是一次性加载出来的，比如大多数Android手机列表ListView，都是异步加载，也就是你滑动到那个位置，它才会显示出它的内容。 也就是说，我们前面爬取微博首页全部信息的时候，如果你不滑动先加载一定的微博内容，也就如上图所示，只能获取2个微博内容。
关于2018 iNaturalist 挑战赛与 iMaterialist挑战赛
Shawnwinder的博客
06-27 1247
网址：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&amp;mid=2650744369&amp;idx=3&amp;sn=3cef83479d26a2bfbe8cfca169d6d878&amp;chksm=871ae24fb06d6b5936a3275a1658cec56c3a7083853108a6f17a56898ec5e714234c...
根据url批量下载图片
liuguoxi963的博客
02-19 1741
/** * 下载图片 */ public void downloadImg(String imgUrl, String filePath) { String fileName = imgUrl.substring(imgUrl.lastIndexOf("/")); // 创建文件的目录结构 File files = new File(filePath); if(...
2021-08-09
qq_44577105的博客
08-09 908
BBN：Bilaterial-Branch Network(CVPR2019)论文翻译 Introduction： 第一段：公开数据集是均匀的，但现实中有大量不均衡数据集。 第二段：采用类平衡来解决问题，有很多参考文献，重采样（26,1,14，11,2,7,21,4），重加权（13,30,5,23） 第三段：重采样会有过拟合与欠拟合的情况，重加权通过改变甚至反转数据呈现的频率来扭曲原始分布 第四段：前期的工作论证这两种方法的不好一面，在表征阶段和最后一层全连接层分别采用三种方法，ce、rw、rs，在cifa
深度学习数据集下载
syu_acm的博客
12-06 214
数据集下载链接： LT-CIFAR-10 and LT-CIFAR-100：https://www.cs.toronto.edu/~kriz/cifar.html TieredImageNet： tieredImageNet Tiny ImageNet：http://cs231n.stanford.edu/tiny-imagenet-200.zip SUN-324: https://sun3d.cs.princeton.edu/ iNaturalist: https://github.com/visipe
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（二）
wzk4869的博客
09-20 4229
【计算机视觉 | 图像分类】图像分类常用数据集及其介绍（二）
Python爬虫实战：动态加载科研数据的抓取技巧
"利用python爬虫(案例6+part15)–如何爬取科研数据" 在现代网页设计中，动态加载已经成为主流，特别是在科研数据的展示方面，许多网站使用Ajax技术来实现数据的异步更新，以提高用户体验。Python爬虫在面对这类动态...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Oruizn

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值