python爬取下拉列表数据_网页爬虫 - python:爬取带有下拉框日期的数据？

问 题

需要用到这方面的数据，单独一页一页的复制了一段时间的数据，发现很是耗时，想从深圳市环保局下载空气质量历史数据。选择日期后，页面出现一个相应的数据表格，每天有24个时间点的。需要将每一天每一个小时的数据都爬下来。页面如下：

网址：http://www.szhec.gov.cn/pages/szepb/kqzl...

麻烦大家

解决方案

使用requests.post请求

上图的URL

hash值在上图的位置。

该图是response

#coding=utf-8

import requests

from bs4 import BeautifulSoup

get_url="http://www.szhec.gov.cn/pages/szepb/kqzl/TGzfwHjKqzlzs.jsp?FLAG=FIRSTFW"#获取hash值

post_url="http://www.szhec.gov.cn/pages/szepb/kqzl/TGzfwHjKqzlzs.jsp" #获取空气质量时报

html=requests.get(get_url)

#使用beautiful解析网页，获取hash值